apache / apache/datafusion

Add Linked data benchmarks

Aperta
#451 6 commenti 1 reazione 0 assegnatari Vedi su GitHub
enhancement
Lingua principale
Rust
Stelle
9.3k
Fork
2.4k
Merge medio
3g 11h
PR unite (30g)
360

Descrizione

**Is your feature request related to a problem or challenge? Please describe what you are trying to do.**
Recently I came across LDBC benchmarks which is focused on graph-like workloads. I'm wondering whether Datafusion already covers the features the queries need. While I don't think it's as important as TPC-H it'd increase the coverage helping to identify performance regressions during the Datafusion development. This would be an extra tool to get a broader picture in a structured way (at least more structured than ad-hoc queries)

**Describe the solution you'd like**
Supporting the queries written for PostgreSQL: https://github.com/ldbc/ldbc_snb_bi/tree/main/postgres/queries .

**Describe alternatives you've considered**
Not implementing it. Optimizing Datafusion to perform well on this particular benchmark is out of the scope as well. My assumption is that OLAP should be first-class and this should be a second class target.

**Additional context**
While it's not an OLAP workload, I believe Datafusion would perform relatively or extremely well.

Cc @Dandandan IIRC you contributed the most (CTE+UNION ALL) in this field

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Iniziare esaminando le query SQL nel repository LDBC SNB BI collegato e verificare quali funzionalità di DataFusion SQL richiedono, in particolare il supporto per CTE e UNION ALL. Confermare che l’insieme di query possa essere eseguito in DataFusion e definire una copertura del benchmark in grado di rilevare regressioni delle prestazioni senza ottimizzare specificamente per questo carico di lavoro.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
postgresql, rust
Ambito
databases, performance, testing
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.