apache / apache/datafusion-comet

[EPIC] TPC-H performance improvements

Aperta
#2,004 2 commenti 0 reazioni 0 assegnatari Vedi su GitHub
enhancement EPIC
Lingua principale
Scala
Stelle
1.3k
Fork
375
Merge medio
2g 10h
PR unite (30g)
231

Descrizione

### What is the problem the feature request solves?

The epic is supposed to track a progress in improving TPC-H query performance and replaces outdated #391 .

Please find below query comparison Comet 0.9.0 vs Gluten 1.4.0 (TPC-H @ 100GB)

Image

Feel free to convert the task into issue and attach performance findings there

- [ ] q1
- [ ] q2
- [ ] q3
- [ ] q4
- [ ] q5
- [ ] q6
- [ ] q7
- [ ] q8
- [x] #2006
- [ ] q10
- [ ] q11
- [ ] q12
- [ ] q13
- [ ] q14
- [ ] q15
- [ ] q16
- [ ] https://github.com/apache/datafusion-comet/issues/2008
- [ ] q18
- [ ] q19
- [ ] q20
- [ ] q21
- [ ] q22

The PR how to run benchmarks https://github.com/apache/datafusion-comet/pull/2025

### Describe the potential solution

_No response_

### Additional context

_No response_

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia con le istruzioni del benchmark in PR 2025 e rivedi i dati di confronto in questa issue. Scegli una query TPC-H non selezionata, analizzane le prestazioni utilizzando il processo di benchmark e consulta issue #2006 o #2008 per esempi di attività specifiche. L'attività è completata quando i risultati sulle prestazioni della query sono documentati e l'elemento corrispondente della checklist è aggiornato.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
spark
Ambito
data-engineering, performance
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
25/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.