apache / apache/datafusion-comet

[EPIC] TPC-H performance improvements

Offen
#2,004 2 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
enhancement EPIC
Vorherrschende Sprache
Scala
Sterne
1.3k
Forks
375
Ø Merge
2 T. 10 Std.
Gemergte PRs (30 T.)
231

Beschreibung

### What is the problem the feature request solves?

The epic is supposed to track a progress in improving TPC-H query performance and replaces outdated #391 .

Please find below query comparison Comet 0.9.0 vs Gluten 1.4.0 (TPC-H @ 100GB)

Image

Feel free to convert the task into issue and attach performance findings there

- [ ] q1
- [ ] q2
- [ ] q3
- [ ] q4
- [ ] q5
- [ ] q6
- [ ] q7
- [ ] q8
- [x] #2006
- [ ] q10
- [ ] q11
- [ ] q12
- [ ] q13
- [ ] q14
- [ ] q15
- [ ] q16
- [ ] https://github.com/apache/datafusion-comet/issues/2008
- [ ] q18
- [ ] q19
- [ ] q20
- [ ] q21
- [ ] q22

The PR how to run benchmarks https://github.com/apache/datafusion-comet/pull/2025

### Describe the potential solution

_No response_

### Additional context

_No response_

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne mit den Benchmark-Anweisungen in PR 2025 und überprüfe die Vergleichsdaten in diesem Issue. Wähle eine nicht abgehakte TPC-H-Abfrage aus, untersuche ihre Performance anhand des Benchmark-Prozesses und sieh dir issue #2006 oder #2008 als Beispiele für aufgabenspezifische Arbeiten an. Erledigt ist die Aufgabe, wenn die Performance-Ergebnisse der Abfrage dokumentiert und das entsprechende Checklistenelement aktualisiert sind.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
spark
Bereich
data-engineering, performance
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.