ClickHouse / ClickHouse/ClickBench
Some, but not all scripts report "load time" for stateless engines (time to download parquet and sync)
- Lingua principale
- Shell
- Stelle
- 1.1k
- Fork
- 313
- Merge medio
- 2h 43m
- PR unite (30g)
- 598
Descrizione
While reviewing recent DataFusion results, I found there is now a "load time" reported for DataFusion
For example, this [link](https://benchmark.clickhouse.com/#system=+drB|erDt|ti%20rud&type=-&machine=+ca4e&cluster_size=-&opensource=-&hardware=+c&tuned=+n&metric=combined&queries=-)
Here is the source file that has 17:
https://github.com/ClickHouse/ClickBench/blob/a377499b950b17b2d96b79625375d57b18a36634/datafusion-partitioned/results/20260511/c6a.4xlarge.json#L10
It was added in https://github.com/ClickHouse/ClickBench/commit/6d5ee0a68573bbb481fdb8f799cc3348a9bb0634 which was part of a large refactoring in https://github.com/ClickHouse/ClickBench/pull/860
I am not sure if you intended the load_time to include the download / fsync time for the raw parquet dataset, but if you did I would request that we measure it consistently across stateless engines
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Direzione di ricerca
Inizia dal file collegato datafusion-partitioned/results/20260511/c6a.4xlarge.json e verifica l’aggiunta di load_time dal commit 6d5ee0a e dalla pull request #860. Confronta il modo in cui gli script di stateless-engine riportano il tempo di caricamento, chiarisci se il download di Parquet raw e fsync debbano rientrare nella misurazione e considera il lavoro completato quando la reportistica è coerente tra quei motori.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- shell
- Ambito
- data-engineering, databases
- Tipo di issue
- Funzionalità
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Tranquilla
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 45/100