apache / apache/datafusion

Adapt column statistics API

Aperta
#717 2 commenti 0 reazioni 0 assegnatari Vedi su GitHub
enhancement
Lingua principale
Rust
Stelle
9.3k
Fork
2.4k
Merge medio
3g 11h
PR unite (30g)
360

Descrizione

**Is your feature request related to a problem or challenge? Please describe what you are trying to do.**
While looking at adding support for more statistics on the Delta Lake `TableProvider` implementation I bumped into some limitation in our statistics API.

Currently columnstatistics is a `Option>`.

https://github.com/apache/arrow-datafusion/blob/master/datafusion/src/datasource/datasource.rs#L37

So, it should return the statistics by (correct) index regardless of the order in the files.

**Describe the solution you'd like**
Either:
* Return a `HashMap` rather than a `Option>`
* Pass a `Schema` parameter to `TableProvider::statisitics` so the positions of the fields can be calculated.

FWIW, Delta Lake / delta-rs takes the first approach and seems straightforward to implement and use.

**Describe alternatives you've considered**

**Additional context**

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia da datafusion/src/datasource/datasource.rs, all’API delle statistiche di TableProvider indicata, quindi esamina i chiamanti e gli utilizzi di ColumnStatistics. Confronta le due forme di API proposte e verifica come viene attualmente gestito l’ordine delle colonne. Il lavoro è concluso quando la rappresentazione selezionata è implementata in modo coerente e le statistiche vengono associate alle colonne corrette indipendentemente dall’ordine dei file.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
rust
Ambito
backend-api-design
Tipo di issue
Funzionalità
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.