DTStack / DTStack/chunjun

flinksql 数据分组后批量写clickhouse问题

Offen
#810 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
bug
Vorherrschende Sprache
Java
Sterne
4.1k
Forks
1.7k
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

flinksql 数据分组后按2000一组批量写到Clickhouse,但是发现ck中每组数据都有2000条

企业微信截图_1652808239326

![image](https://user-images.githubusercontent.com/7970677/168933520-0e10cf5d-2d25-4a34-8775-8fec909417f9.png)

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne damit, den im Issue beschriebenen gruppierten Flink SQL-Batch-Schreibvorgang nach ClickHouse zu reproduzieren, wobei die beigefügten Screenshots als erwarteter Kontext dienen. Verfolge den relevanten Batching-Pfad des ClickHouse-Connectors und überprüfe, ob Gruppengrenzen erhalten bleiben; als erledigt gilt die Aufgabe, wenn das beobachtete Batch-Verhalten erklärt und mit einer reproduzierbaren Verifikation korrigiert wurde.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
clickhouse, sql
Bereich
data-engineering, databases, stream-processing
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.