ClickHouse / ClickHouse/ClickBench
Some, but not all scripts report "load time" for stateless engines (time to download parquet and sync)
- Vorherrschende Sprache
- Shell
- Sterne
- 1.1k
- Forks
- 313
- Ø Merge
- 2 Std. 43 Min.
- Gemergte PRs (30 T.)
- 598
Beschreibung
While reviewing recent DataFusion results, I found there is now a "load time" reported for DataFusion
For example, this [link](https://benchmark.clickhouse.com/#system=+drB|erDt|ti%20rud&type=-&machine=+ca4e&cluster_size=-&opensource=-&hardware=+c&tuned=+n&metric=combined&queries=-)
Here is the source file that has 17:
https://github.com/ClickHouse/ClickBench/blob/a377499b950b17b2d96b79625375d57b18a36634/datafusion-partitioned/results/20260511/c6a.4xlarge.json#L10
It was added in https://github.com/ClickHouse/ClickBench/commit/6d5ee0a68573bbb481fdb8f799cc3348a9bb0634 which was part of a large refactoring in https://github.com/ClickHouse/ClickBench/pull/860
I am not sure if you intended the load_time to include the download / fsync time for the raw parquet dataset, but if you did I would request that we measure it consistently across stateless engines
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Beginnen Sie mit der verknüpften Datei datafusion-partitioned/results/20260511/c6a.4xlarge.json und überprüfen Sie die Hinzufügung von load_time aus Commit 6d5ee0a und Pull Request #860. Vergleichen Sie, wie die stateless-engine-Skripte die Ladezeit melden, klären Sie, ob der Download von rohem Parquet und fsync in die Messung gehören, und betrachten Sie die Arbeit als abgeschlossen, wenn die Berichterstattung über diese Engines hinweg konsistent ist.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- shell
- Bereich
- data-engineering, databases
- Issue-Typ
- Feature
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Ruhig
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 45/100