ClickHouse / ClickHouse/ClickBench

Some, but not all scripts report "load time" for stateless engines (time to download parquet and sync)

Aperta
#944 0 commenti 1 reazione 0 assegnatari Vedi su GitHub
Lingua principale
Shell
Stelle
1.1k
Fork
313
Merge medio
2h 43m
PR unite (30g)
598

Descrizione

While reviewing recent DataFusion results, I found there is now a "load time" reported for DataFusion

For example, this [link](https://benchmark.clickhouse.com/#system=+drB|erDt|ti%20rud&type=-&machine=+ca4e&cluster_size=-&opensource=-&hardware=+c&tuned=+n&metric=combined&queries=-)

Image

Here is the source file that has 17:
https://github.com/ClickHouse/ClickBench/blob/a377499b950b17b2d96b79625375d57b18a36634/datafusion-partitioned/results/20260511/c6a.4xlarge.json#L10

It was added in https://github.com/ClickHouse/ClickBench/commit/6d5ee0a68573bbb481fdb8f799cc3348a9bb0634 which was part of a large refactoring in https://github.com/ClickHouse/ClickBench/pull/860

Image

I am not sure if you intended the load_time to include the download / fsync time for the raw parquet dataset, but if you did I would request that we measure it consistently across stateless engines

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Inizia dal file collegato datafusion-partitioned/results/20260511/c6a.4xlarge.json e verifica l’aggiunta di load_time dal commit 6d5ee0a e dalla pull request #860. Confronta il modo in cui gli script di stateless-engine riportano il tempo di caricamento, chiarisci se il download di Parquet raw e fsync debbano rientrare nella misurazione e considera il lavoro completato quando la reportistica è coerente tra quei motori.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
shell
Ambito
data-engineering, databases
Tipo di issue
Funzionalità
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Tranquilla
Chiarezza
Abbastanza chiara
Idoneità per principianti
45/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.