apache / apache/datafusion-comet
[EPIC] TPC-H performance improvements
- Lingua principale
- Scala
- Stelle
- 1.3k
- Fork
- 375
- Merge medio
- 2g 10h
- PR unite (30g)
- 231
Descrizione
### What is the problem the feature request solves?
The epic is supposed to track a progress in improving TPC-H query performance and replaces outdated #391 .
Please find below query comparison Comet 0.9.0 vs Gluten 1.4.0 (TPC-H @ 100GB)
Feel free to convert the task into issue and attach performance findings there
- [ ] q1
- [ ] q2
- [ ] q3
- [ ] q4
- [ ] q5
- [ ] q6
- [ ] q7
- [ ] q8
- [x] #2006
- [ ] q10
- [ ] q11
- [ ] q12
- [ ] q13
- [ ] q14
- [ ] q15
- [ ] q16
- [ ] https://github.com/apache/datafusion-comet/issues/2008
- [ ] q18
- [ ] q19
- [ ] q20
- [ ] q21
- [ ] q22
The PR how to run benchmarks https://github.com/apache/datafusion-comet/pull/2025
### Describe the potential solution
_No response_
### Additional context
_No response_
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Inizia con le istruzioni del benchmark in PR 2025 e rivedi i dati di confronto in questa issue. Scegli una query TPC-H non selezionata, analizzane le prestazioni utilizzando il processo di benchmark e consulta issue #2006 o #2008 per esempi di attività specifiche. L'attività è completata quando i risultati sulle prestazioni della query sono documentati e l'elemento corrispondente della checklist è aggiornato.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- spark
- Ambito
- data-engineering, performance
- Tipo di issue
- Funzionalità
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 25/100