apache / apache/datafusion

Add with_virtual_columns to ParquetSource for reading virtual columns

Offen
#20,132 6 Kommentare 1 Reaktion 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Rust
Sterne
9.3k
Forks
2.4k
Ø Merge
3 T. 11 Std.
Gemergte PRs (30 T.)
360

Beschreibung

I have found that arrow-rs has supported reading virtual columns, including RowGroupIndex and RowNumber, since v57.0.0.
I propose to add a method `with_virtual_columns` to `ParquetSource` to let user decide which virtual columns should be read.
The virtual columns, like RowNumber, could be used to implement prewhere, late materialized topk, and secondary indexes and more fancy stuff.

virtual columns support in arrow-rs: https://github.com/apache/arrow-rs/pull/8715

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne damit, ParquetSource zu finden und die in v57.0.0 eingeführte Unterstützung für virtuelle Spalten in arrow-rs zu überprüfen, einschließlich RowGroupIndex und RowNumber. Verfolge, wie ParquetSource Spalten auswählt, und identifiziere die relevanten Tests; abgeschlossen ist die Aufgabe, wenn Benutzer virtuelle Spalten über with_virtual_columns auswählen können und das Verhalten durch Tests abgedeckt ist.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
rust
Bereich
databases
Issue-Typ
Feature
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Ruhig
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
48/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.