Adapt column statistics API
- Lingua principale
- Rust
- Stelle
- 9.3k
- Fork
- 2.4k
- Merge medio
- 3g 11h
- PR unite (30g)
- 360
Descrizione
**Is your feature request related to a problem or challenge? Please describe what you are trying to do.**
While looking at adding support for more statistics on the Delta Lake `TableProvider` implementation I bumped into some limitation in our statistics API.
Currently columnstatistics is a `Option>`.
https://github.com/apache/arrow-datafusion/blob/master/datafusion/src/datasource/datasource.rs#L37
So, it should return the statistics by (correct) index regardless of the order in the files.
**Describe the solution you'd like**
Either:
* Return a `HashMap` rather than a `Option>`
* Pass a `Schema` parameter to `TableProvider::statisitics` so the positions of the fields can be calculated.
FWIW, Delta Lake / delta-rs takes the first approach and seems straightforward to implement and use.
**Describe alternatives you've considered**
**Additional context**
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Inizia da datafusion/src/datasource/datasource.rs, all’API delle statistiche di TableProvider indicata, quindi esamina i chiamanti e gli utilizzi di ColumnStatistics. Confronta le due forme di API proposte e verifica come viene attualmente gestito l’ordine delle colonne. Il lavoro è concluso quando la rappresentazione selezionata è implementata in modo coerente e le statistiche vengono associate alle colonne corrette indipendentemente dall’ordine dei file.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- rust
- Ambito
- backend-api-design
- Tipo di issue
- Funzionalità
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 35/100