Parquet reader should return a RowSelection to support result caching
- Lingua principale
- Rust
- Stelle
- 9.3k
- Fork
- 2.4k
- Merge medio
- 3g 11h
- PR unite (30g)
- 360
Descrizione
When the same predicate is applied to the same Parquet file, the resulting row selection is deterministic. Returning and caching the RowSelection allows downstream consumers to reuse it, avoiding redundant filtering and improving read performance.
I believe this feature will require changes in both arrow-rs and datafusion.
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Inizia tracciando il lettore Parquet e la gestione di RowSelection in arrow-rs e DataFusion. Determina come lo stesso predicato e lo stesso file possano esporre una selezione riutilizzabile ai consumer downstream, quindi verifica che la selezione possa essere restituita e memorizzata nella cache senza modificare i risultati della query o il comportamento del filtraggio.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- rust
- Ambito
- data-engineering
- Tipo di issue
- Funzionalità
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Tranquilla
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 38/100