apache / apache/doris-streamloader

导入数据只导入了一部分

Offen
#30 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Go
Sterne
36
Forks
24
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

./doris-streamloader --source_file=save_doris_tmp.txt --url="http://xxx" --header="column_separator:&?format:csv?max_filter_ratio:0" --db="xxx" --table=xxx --u="ad_data" --p="x@x" --auto_retry_interval=5
INFO[2025-06-03 14:53:13] worker number is 0, which is <= 0, trigger automatic inference. Final worker number is 1 line=doris-streamloader/main.go:328
INFO[2025-06-03 14:53:13] redirect to http:xxxxxxxx/_stream_load? line=loader/stream_loader.go:272
INFO[2025-06-03 14:53:14] resp: {
"TxnId": 10111649,
"Label": "a2fb52b7-db87-4364-9e53-ae4291297a4f",
"Comment": "",
"TwoPhaseCommit": "false",
"Status": "Success",
"Message": "OK",
"NumberTotalRows": 27578,
"NumberLoadedRows": 27578,
"NumberFilteredRows": 0,
"NumberUnselectedRows": 0,
"LoadBytes": 9436958,
"LoadTimeMs": 197,
"BeginTxnTimeMs": 0,
"StreamLoadPutTimeMs": 2,
"ReadDataTimeMs": 10,
"WriteDataTimeMs": 169,
"CommitAndPublishTimeMs": 24
} line=loader/stream_loader.go:294
INFO[2025-06-03 14:53:14] execute worker exit line=loader/stream_loader.go:364
Load Result: {
"Status": "Success",
"TotalRows": 27578,
"FailLoadRows": 0,
"LoadedRows": 27578,
"FilteredRows": 0,
"UnselectedRows": 0,
"LoadBytes": 9436958,
"LoadTimeMs": 209,
"LoadFiles": [
"save_doris_tmp.txt"
]
}
但我的save_doris_tmp.txt 有79751 行,
当我第二次重试的时候,又成功导入了79751行

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginne mit doris-streamloader/main.go:328 und loader/stream_loader.go in den Zeilen 272, 294 und 364. Verfolge, wie die Eingabedatei gelesen, die Worker ausgewählt und Retries behandelt werden, und vergleiche anschließend die gemeldeten Zeilenzahlen mit den 79,751 Zeilen der Datei. Als abgeschlossen gilt die Aufgabe, wenn ein einzelner Import konsistent alle Eingabezeilen berücksichtigt oder klar meldet, warum Zeilen für einen erneuten Versuch übrig bleiben.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
go
Bereich
data-engineering, databases
Issue-Typ
Bug
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.