Run tpch q5 with 100G data got error

Descrizione

Describe the bug

Error: ArrowError(ExternalError(ArrowError(ExternalError(Execution("Arrow error: External error: Arrow error: External error: Execution error: Arrow error: External error: Arrow error: External error: Execution error: Arrow error: External error: Arrow error: External error: Execution error: Arrow error: External error: Arrow error: External error: Execution error: Arrow error: External error: Arrow error: External error: Execution error: Arrow error: External error: Execution error: Arrow error: Parser error: Error parsing line 14999998: Error(UnequalLengths { pos: Some(Position { byte: 2463490006, line: 14999999, record: 14999998 }), expected_len: 9, len: 3 })")))))

To Reproduce
command:

./tpch-gen.sh 100
cargo run --release --bin tpch -- benchmark datafusion --iterations 1 --path ./data --format tbl --query 5 --batch-size 4096

Expected behavior
A clear and concise description of what you expected to happen.

Additional context
Add any other context about the problem here.

Come iniziare

Leggi tutta la issue e poi la guida ai contributi del progetto.

Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.

Fai un fork del repository e lavora su un branch.

Apri una pull request che faccia riferimento al numero della issue.

Direzione di ricerca

Inizia eseguendo tpch-gen.sh 100 e il comando fornito cargo run --release --bin tpch per riprodurre l’errore del parser. Esamina i dati generati intorno alla riga 14999999 e il punto di ingresso del benchmark tpch per determinare perché il record ha tre campi invece di nove. Il lavoro è completato quando query 5 termina correttamente sul dataset da 100G.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico

rust

Ambito

databases

Tipo di issue

Bug

Difficoltà

4/5

Tempo stimato

3-5 giorni

Stato di attività

Ferma

Chiarezza

Da chiarire

Idoneità per principianti

28/100

Descrizione

Guida per i contributori

Come iniziare

Direzione di ricerca

Valutazione

Ricevi le nuove issue nella tua casella