DTStack / DTStack/chunjun

kakfareader配置groupId无效的问题

Ouverte
#613 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Langage dominant
Java
Étoiles
4.1k
Forks
1.7k
Métriques de merge des PR
Aucune PR mergée en 30 j

Description

kafkareader在配置groupId后,使用本地模式启动任务,可以看到消费kafka数据,但是没有提交offset,kafkatool查看一直有lag
![image](https://user-images.githubusercontent.com/16069974/155723151-758cc0e7-6e6f-4df1-9b18-741fae014db5.png)
导致每次重新启动的时候,都重复消费,求大佬们赐教!!

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

Commencez au point d’entrée KafkaReader et reproduisez la tâche signalée en local-mode avec groupId configuré, puis examinez le comportement du commit des offsets tout en comparant le consumer lag dans les outils Kafka. Le travail est terminé lorsque les offsets sont commités pendant la consommation et que le redémarrage de la tâche ne consomme pas à nouveau les mêmes enregistrements.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
java, kafka
Domaine
data-engineering, distributed-systems
Type d'issue
Bug
Difficulté
4/5
Temps estimé
3-5 jours
Activité
À l'abandon
Clarté
À clarifier
Accessibilité débutants
35/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.