apache / apache/datafusion

Improve schema merging

Aperta
#4,223 2 commenti 0 reazioni 0 assegnatari Vedi su GitHub
enhancement
Lingua principale
Rust
Stelle
9.3k
Fork
2.4k
Merge medio
3g 11h
PR unite (30g)
360

Descrizione

**Is your feature request related to a problem or challenge? Please describe what you are trying to do.**

I am trying to work with the nyctaxi parquet data set which has one file per month. Over time, some of the types have changed. For example `passenger_count` started out as `Int64` and was later changed to `Float64`.

Arrow-rs can not merge these schemas.

Other solutions (such as DuckDB) will merge these schemas and pick the least restrictive type (`Float64`).

**Describe the solution you'd like**

**Describe alternatives you've considered**

**Additional context**

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Non vengono indicati file sorgente o test. Inizia riproducendo il problema con i file Parquet mensili di nyctaxi e ispeziona l’entry point per l’unione degli schemi di Arrow-rs; il lavoro è completato quando gli schemi contenenti Int64 e Float64 per passenger_count vengono uniti correttamente usando Float64.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
rust
Ambito
data-engineering
Tipo di issue
Funzionalità
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.