apache / apache/datafusion

Use roaring bitmap in hash join for tracking hash collisions

Aperta
#4,093 2 commenti 0 reazioni 0 assegnatari Vedi su GitHub
enhancement
Lingua principale
Rust
Stelle
9.3k
Fork
2.4k
Merge medio
3g 11h
PR unite (30g)
360

Descrizione

**Is your feature request related to a problem or challenge? Please describe what you are trying to do.**

to improve memory efficiency at a cost of compression, but possibly can allow a wider range of join schemes to be executed without backing to sort merge join

**Describe the solution you'd like**
A clear and concise description of what you want to happen.

**Describe alternatives you've considered**
A clear and concise description of any alternative solutions or features you've considered.

**Additional context**
Add any other context or screenshots about the feature request here.

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

L'issue non indica file, test o punti di ingresso. Inizia individuando l'implementazione di hash join di DataFusion e la relativa logica di tracciamento delle collisioni, quindi determina in che modo una roaring bitmap influirebbe sull'uso della memoria e sull'esecuzione del join; il lavoro richiede un design concordato e la validazione del fatto che gli join schemes pertinenti continuino a funzionare.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
rust
Ambito
databases
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
20/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.