Enable parquet filter pushdown (`filter_pushdown`) by default
- Lingua principale
- Rust
- Stelle
- 9.3k
- Fork
- 2.4k
- Merge medio
- 3g 11h
- PR unite (30g)
- 360
Descrizione
In https://github.com/apache/arrow-datafusion/pull/3380 @thinkharderdev added support for evaluating filters during the parquet scan via the RowIndex mechanism 🎉
This feature is currently enabled via a feature flag, which is disabled by default.
This ticket tracks enabling this feature by default.
Currently known items are:
- [x] https://github.com/apache/arrow-datafusion/issues/3457
- [x] Review of parquet test coverage and add additional coverage as needed: https://github.com/apache/arrow-datafusion/pull/3976
- [x] https://github.com/apache/arrow-datafusion/issues/4005
- [x] https://github.com/apache/arrow-datafusion/issues/4006
- [x] https://github.com/apache/arrow-datafusion/issues/4046
- [ ] Enable this feature by default: https://github.com/apache/arrow-datafusion/pull/3828
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Inizia esaminando PR 3828 e le issue prerequisito completate elencate nel ticket, in particolare il lavoro sulla copertura dei test parquet in PR 3976. Abilita filter_pushdown per impostazione predefinita, quindi verifica la copertura dei test parquet esistente e conferma che la funzionalità non richiede più un flag di opt-in.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- rust
- Ambito
- data-engineering
- Tipo di issue
- Funzionalità
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 30/100