apache / apache/datafusion

Add Linked data benchmarks

Offen
#451 6 Kommentare 1 Reaktion 0 zugewiesene Personen Auf GitHub ansehen
enhancement
Vorherrschende Sprache
Rust
Sterne
9.3k
Forks
2.4k
Ø Merge
3 T. 11 Std.
Gemergte PRs (30 T.)
360

Beschreibung

**Is your feature request related to a problem or challenge? Please describe what you are trying to do.**
Recently I came across LDBC benchmarks which is focused on graph-like workloads. I'm wondering whether Datafusion already covers the features the queries need. While I don't think it's as important as TPC-H it'd increase the coverage helping to identify performance regressions during the Datafusion development. This would be an extra tool to get a broader picture in a structured way (at least more structured than ad-hoc queries)

**Describe the solution you'd like**
Supporting the queries written for PostgreSQL: https://github.com/ldbc/ldbc_snb_bi/tree/main/postgres/queries .

**Describe alternatives you've considered**
Not implementing it. Optimizing Datafusion to perform well on this particular benchmark is out of the scope as well. My assumption is that OLAP should be first-class and this should be a second class target.

**Additional context**
While it's not an OLAP workload, I believe Datafusion would perform relatively or extremely well.

Cc @Dandandan IIRC you contributed the most (CTE+UNION ALL) in this field

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginnen Sie mit der Überprüfung der SQL-Abfragen im verknüpften LDBC SNB BI-Repository und prüfen Sie, welche DataFusion-SQL-Funktionen sie benötigen, insbesondere die Unterstützung für CTE und UNION ALL. Bestätigen Sie, dass der Abfragesatz in DataFusion ausgeführt werden kann, und definieren Sie eine Benchmark-Abdeckung, mit der sich Leistungsregressionen erkennen lassen, ohne speziell für diese Arbeitslast zu optimieren.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
postgresql, rust
Bereich
databases, performance, testing
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.