apache / apache/datafusion

Parquet reader should return a RowSelection to support result caching

Aperta
#24,062 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
Rust
Stelle
9.3k
Fork
2.4k
Merge medio
3g 11h
PR unite (30g)
360

Descrizione

When the same predicate is applied to the same Parquet file, the resulting row selection is deterministic. Returning and caching the RowSelection allows downstream consumers to reuse it, avoiding redundant filtering and improving read performance.

I believe this feature will require changes in both arrow-rs​ and datafusion.

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia tracciando il lettore Parquet e la gestione di RowSelection in arrow-rs e DataFusion. Determina come lo stesso predicato e lo stesso file possano esporre una selezione riutilizzabile ai consumer downstream, quindi verifica che la selezione possa essere restituita e memorizzata nella cache senza modificare i risultati della query o il comportamento del filtraggio.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
rust
Ambito
data-engineering
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Tranquilla
Chiarezza
Abbastanza chiara
Idoneità per principianti
38/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.