apache / apache/doris-streamloader
导入数据只导入了一部分
- Vorherrschende Sprache
- Go
- Sterne
- 36
- Forks
- 24
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
./doris-streamloader --source_file=save_doris_tmp.txt --url="http://xxx" --header="column_separator:&?format:csv?max_filter_ratio:0" --db="xxx" --table=xxx --u="ad_data" --p="x@x" --auto_retry_interval=5
INFO[2025-06-03 14:53:13] worker number is 0, which is <= 0, trigger automatic inference. Final worker number is 1 line=doris-streamloader/main.go:328
INFO[2025-06-03 14:53:13] redirect to http:xxxxxxxx/_stream_load? line=loader/stream_loader.go:272
INFO[2025-06-03 14:53:14] resp: {
"TxnId": 10111649,
"Label": "a2fb52b7-db87-4364-9e53-ae4291297a4f",
"Comment": "",
"TwoPhaseCommit": "false",
"Status": "Success",
"Message": "OK",
"NumberTotalRows": 27578,
"NumberLoadedRows": 27578,
"NumberFilteredRows": 0,
"NumberUnselectedRows": 0,
"LoadBytes": 9436958,
"LoadTimeMs": 197,
"BeginTxnTimeMs": 0,
"StreamLoadPutTimeMs": 2,
"ReadDataTimeMs": 10,
"WriteDataTimeMs": 169,
"CommitAndPublishTimeMs": 24
} line=loader/stream_loader.go:294
INFO[2025-06-03 14:53:14] execute worker exit line=loader/stream_loader.go:364
Load Result: {
"Status": "Success",
"TotalRows": 27578,
"FailLoadRows": 0,
"LoadedRows": 27578,
"FilteredRows": 0,
"UnselectedRows": 0,
"LoadBytes": 9436958,
"LoadTimeMs": 209,
"LoadFiles": [
"save_doris_tmp.txt"
]
}
但我的save_doris_tmp.txt 有79751 行,
当我第二次重试的时候,又成功导入了79751行
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Beginne mit doris-streamloader/main.go:328 und loader/stream_loader.go in den Zeilen 272, 294 und 364. Verfolge, wie die Eingabedatei gelesen, die Worker ausgewählt und Retries behandelt werden, und vergleiche anschließend die gemeldeten Zeilenzahlen mit den 79,751 Zeilen der Datei. Als abgeschlossen gilt die Aufgabe, wenn ein einzelner Import konsistent alle Eingabezeilen berücksichtigt oder klar meldet, warum Zeilen für einen erneuten Versuch übrig bleiben.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- go
- Bereich
- data-engineering, databases
- Issue-Typ
- Bug
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 35/100