apache / apache/doris-streamloader

导入数据只导入了一部分

Abierto
#30 0 comentarios 0 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
Go
Estrellas
36
Forks
24
Métricas de merge de PR
Sin PR fusionados en 30 d

Descripción

./doris-streamloader --source_file=save_doris_tmp.txt --url="http://xxx" --header="column_separator:&?format:csv?max_filter_ratio:0" --db="xxx" --table=xxx --u="ad_data" --p="x@x" --auto_retry_interval=5
INFO[2025-06-03 14:53:13] worker number is 0, which is <= 0, trigger automatic inference. Final worker number is 1 line=doris-streamloader/main.go:328
INFO[2025-06-03 14:53:13] redirect to http:xxxxxxxx/_stream_load? line=loader/stream_loader.go:272
INFO[2025-06-03 14:53:14] resp: {
"TxnId": 10111649,
"Label": "a2fb52b7-db87-4364-9e53-ae4291297a4f",
"Comment": "",
"TwoPhaseCommit": "false",
"Status": "Success",
"Message": "OK",
"NumberTotalRows": 27578,
"NumberLoadedRows": 27578,
"NumberFilteredRows": 0,
"NumberUnselectedRows": 0,
"LoadBytes": 9436958,
"LoadTimeMs": 197,
"BeginTxnTimeMs": 0,
"StreamLoadPutTimeMs": 2,
"ReadDataTimeMs": 10,
"WriteDataTimeMs": 169,
"CommitAndPublishTimeMs": 24
} line=loader/stream_loader.go:294
INFO[2025-06-03 14:53:14] execute worker exit line=loader/stream_loader.go:364
Load Result: {
"Status": "Success",
"TotalRows": 27578,
"FailLoadRows": 0,
"LoadedRows": 27578,
"FilteredRows": 0,
"UnselectedRows": 0,
"LoadBytes": 9436958,
"LoadTimeMs": 209,
"LoadFiles": [
"save_doris_tmp.txt"
]
}
但我的save_doris_tmp.txt 有79751 行,
当我第二次重试的时候,又成功导入了79751行

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Línea de trabajo

Empieza por doris-streamloader/main.go:328 y loader/stream_loader.go en las líneas 272, 294 y 364. Traza cómo se lee el archivo de entrada, cómo se seleccionan los workers y cómo se gestionan los reintentos; después compara los recuentos de filas informados con las 79,751 líneas del archivo. La tarea estará terminada cuando una única importación contabilice de forma consistente todas las filas de entrada o informe claramente de por qué quedan filas para reintentar.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
go
Área
data-engineering, databases
Tipo de issue
Error
Dificultad
3/5
Tiempo estimado
1-2 días
Estado de actividad
Estancado
Claridad
Bastante claro
Aptitud para principiantes
35/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.