apache / apache/datafusion-comet
[EPIC] TPC-H performance improvements
- Vorherrschende Sprache
- Scala
- Sterne
- 1.3k
- Forks
- 375
- Ø Merge
- 2 T. 10 Std.
- Gemergte PRs (30 T.)
- 231
Beschreibung
### What is the problem the feature request solves?
The epic is supposed to track a progress in improving TPC-H query performance and replaces outdated #391 .
Please find below query comparison Comet 0.9.0 vs Gluten 1.4.0 (TPC-H @ 100GB)
Feel free to convert the task into issue and attach performance findings there
- [ ] q1
- [ ] q2
- [ ] q3
- [ ] q4
- [ ] q5
- [ ] q6
- [ ] q7
- [ ] q8
- [x] #2006
- [ ] q10
- [ ] q11
- [ ] q12
- [ ] q13
- [ ] q14
- [ ] q15
- [ ] q16
- [ ] https://github.com/apache/datafusion-comet/issues/2008
- [ ] q18
- [ ] q19
- [ ] q20
- [ ] q21
- [ ] q22
The PR how to run benchmarks https://github.com/apache/datafusion-comet/pull/2025
### Describe the potential solution
_No response_
### Additional context
_No response_
Beitragsleitfaden
Rechercherichtung
Beginne mit den Benchmark-Anweisungen in PR 2025 und überprüfe die Vergleichsdaten in diesem Issue. Wähle eine nicht abgehakte TPC-H-Abfrage aus, untersuche ihre Performance anhand des Benchmark-Prozesses und sieh dir issue #2006 oder #2008 als Beispiele für aufgabenspezifische Arbeiten an. Erledigt ist die Aufgabe, wenn die Performance-Ergebnisse der Abfrage dokumentiert und das entsprechende Checklistenelement aktualisiert sind.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- spark
- Bereich
- data-engineering, performance
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 25/100