Add Linked data benchmarks
- Lingua principale
- Rust
- Stelle
- 9.3k
- Fork
- 2.4k
- Merge medio
- 3g 11h
- PR unite (30g)
- 360
Descrizione
**Is your feature request related to a problem or challenge? Please describe what you are trying to do.**
Recently I came across LDBC benchmarks which is focused on graph-like workloads. I'm wondering whether Datafusion already covers the features the queries need. While I don't think it's as important as TPC-H it'd increase the coverage helping to identify performance regressions during the Datafusion development. This would be an extra tool to get a broader picture in a structured way (at least more structured than ad-hoc queries)
**Describe the solution you'd like**
Supporting the queries written for PostgreSQL: https://github.com/ldbc/ldbc_snb_bi/tree/main/postgres/queries .
**Describe alternatives you've considered**
Not implementing it. Optimizing Datafusion to perform well on this particular benchmark is out of the scope as well. My assumption is that OLAP should be first-class and this should be a second class target.
**Additional context**
While it's not an OLAP workload, I believe Datafusion would perform relatively or extremely well.
Cc @Dandandan IIRC you contributed the most (CTE+UNION ALL) in this field
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Iniziare esaminando le query SQL nel repository LDBC SNB BI collegato e verificare quali funzionalità di DataFusion SQL richiedono, in particolare il supporto per CTE e UNION ALL. Confermare che l’insieme di query possa essere eseguito in DataFusion e definire una copertura del benchmark in grado di rilevare regressioni delle prestazioni senza ottimizzare specificamente per questo carico di lavoro.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- postgresql, rust
- Ambito
- databases, performance, testing
- Tipo di issue
- Funzionalità
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 35/100