DTStack / DTStack/chunjun

kakfareader配置groupId无效的问题

オープン
#613 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Java
スター
4.1k
フォーク
1.7k
PR マージ指標
30日以内にマージされた PR はありません

説明

kafkareader在配置groupId后,使用本地模式启动任务,可以看到消费kafka数据,但是没有提交offset,kafkatool查看一直有lag
![image](https://user-images.githubusercontent.com/16069974/155723151-758cc0e7-6e6f-4df1-9b18-741fae014db5.png)
导致每次重新启动的时候,都重复消费,求大佬们赐教!!

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

KafkaReader のエントリーポイントから開始し、groupId を設定した状態で報告された local-mode のタスクを再現します。次に、Kafka ツールで consumer lag を比較しながら、offset-commit の動作を調査します。消費中にオフセットがコミットされ、タスクを再起動しても同じレコードが再度消費されなければ完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
java, kafka
領域
data-engineering, distributed-systems
issue の種類
バグ
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
説明が足りない
初心者へのやさしさ
35/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。