Add with_virtual_columns to ParquetSource for reading virtual columns
- Vorherrschende Sprache
- Rust
- Sterne
- 9.3k
- Forks
- 2.4k
- Ø Merge
- 3 T. 11 Std.
- Gemergte PRs (30 T.)
- 360
Beschreibung
I have found that arrow-rs has supported reading virtual columns, including RowGroupIndex and RowNumber, since v57.0.0.
I propose to add a method `with_virtual_columns` to `ParquetSource` to let user decide which virtual columns should be read.
The virtual columns, like RowNumber, could be used to implement prewhere, late materialized topk, and secondary indexes and more fancy stuff.
virtual columns support in arrow-rs: https://github.com/apache/arrow-rs/pull/8715
Beitragsleitfaden
Rechercherichtung
Beginne damit, ParquetSource zu finden und die in v57.0.0 eingeführte Unterstützung für virtuelle Spalten in arrow-rs zu überprüfen, einschließlich RowGroupIndex und RowNumber. Verfolge, wie ParquetSource Spalten auswählt, und identifiziere die relevanten Tests; abgeschlossen ist die Aufgabe, wenn Benutzer virtuelle Spalten über with_virtual_columns auswählen können und das Verhalten durch Tests abgedeckt ist.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- rust
- Bereich
- databases
- Issue-Typ
- Feature
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Ruhig
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 48/100