Add selection vector repartitioning
Dieses Issue hat noch niemand übernommen.
- Vorherrschende Sprache
- Rust
- Sterne
- 9.3k
- Forks
- 2.4k
- Ø Merge
- 3 T. 6 Std.
- Gemergte PRs (30 T.)
- 363
Beschreibung
Is your feature request related to a problem or challenge?
Add a mode that outputs selection vectors (for now let's use dense boolean arrays so it can be added to RecordBatch) in RepartitionExec. The array outputs true for each row that has hash % total_partition == current_partition (and false if not).
Describe the solution you'd like
No response
Describe alternatives you've considered
No response
Additional context
No response
Beitragsleitfaden
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Beginne damit, RepartitionExec zu finden und zu lesen, wie es derzeit Partitionszuweisungen berechnet und RecordBatch-Ausgaben erzeugt. Verfolge anschließend den bestehenden Hash- und Partitionierungspfad und identifiziere die relevanten Tests oder ergänze eine Testabdeckung für dichte boolesche Auswahlvektoren; als erledigt gilt die Aufgabe, wenn jede Zeile nur für ihre zugewiesene Partition true ist und die Vektoren im Ausgabe-Batch verfügbar sind.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- rust
- Bereich
- data-engineering, distributed-systems
- Issue-Typ
- Feature
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 42/100