Improve schema merging
- Lingua principale
- Rust
- Stelle
- 9.3k
- Fork
- 2.4k
- Merge medio
- 3g 11h
- PR unite (30g)
- 360
Descrizione
**Is your feature request related to a problem or challenge? Please describe what you are trying to do.**
I am trying to work with the nyctaxi parquet data set which has one file per month. Over time, some of the types have changed. For example `passenger_count` started out as `Int64` and was later changed to `Float64`.
Arrow-rs can not merge these schemas.
Other solutions (such as DuckDB) will merge these schemas and pick the least restrictive type (`Float64`).
**Describe the solution you'd like**
**Describe alternatives you've considered**
**Additional context**
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Non vengono indicati file sorgente o test. Inizia riproducendo il problema con i file Parquet mensili di nyctaxi e ispeziona l’entry point per l’unione degli schemi di Arrow-rs; il lavoro è completato quando gli schemi contenenti Int64 e Float64 per passenger_count vengono uniti correttamente usando Float64.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- rust
- Ambito
- data-engineering
- Tipo di issue
- Funzionalità
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 35/100