apache / apache/doris-streamloader
导入数据只导入了一部分
- Lenguaje dominante
- Go
- Estrellas
- 36
- Forks
- 24
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Descripción
./doris-streamloader --source_file=save_doris_tmp.txt --url="http://xxx" --header="column_separator:&?format:csv?max_filter_ratio:0" --db="xxx" --table=xxx --u="ad_data" --p="x@x" --auto_retry_interval=5
INFO[2025-06-03 14:53:13] worker number is 0, which is <= 0, trigger automatic inference. Final worker number is 1 line=doris-streamloader/main.go:328
INFO[2025-06-03 14:53:13] redirect to http:xxxxxxxx/_stream_load? line=loader/stream_loader.go:272
INFO[2025-06-03 14:53:14] resp: {
"TxnId": 10111649,
"Label": "a2fb52b7-db87-4364-9e53-ae4291297a4f",
"Comment": "",
"TwoPhaseCommit": "false",
"Status": "Success",
"Message": "OK",
"NumberTotalRows": 27578,
"NumberLoadedRows": 27578,
"NumberFilteredRows": 0,
"NumberUnselectedRows": 0,
"LoadBytes": 9436958,
"LoadTimeMs": 197,
"BeginTxnTimeMs": 0,
"StreamLoadPutTimeMs": 2,
"ReadDataTimeMs": 10,
"WriteDataTimeMs": 169,
"CommitAndPublishTimeMs": 24
} line=loader/stream_loader.go:294
INFO[2025-06-03 14:53:14] execute worker exit line=loader/stream_loader.go:364
Load Result: {
"Status": "Success",
"TotalRows": 27578,
"FailLoadRows": 0,
"LoadedRows": 27578,
"FilteredRows": 0,
"UnselectedRows": 0,
"LoadBytes": 9436958,
"LoadTimeMs": 209,
"LoadFiles": [
"save_doris_tmp.txt"
]
}
但我的save_doris_tmp.txt 有79751 行,
当我第二次重试的时候,又成功导入了79751行
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Línea de trabajo
Empieza por doris-streamloader/main.go:328 y loader/stream_loader.go en las líneas 272, 294 y 364. Traza cómo se lee el archivo de entrada, cómo se seleccionan los workers y cómo se gestionan los reintentos; después compara los recuentos de filas informados con las 79,751 líneas del archivo. La tarea estará terminada cuando una única importación contabilice de forma consistente todas las filas de entrada o informe claramente de por qué quedan filas para reintentar.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- go
- Área
- data-engineering, databases
- Tipo de issue
- Error
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Estado de actividad
- Estancado
- Claridad
- Bastante claro
- Aptitud para principiantes
- 35/100