ClickHouse / ClickHouse/ClickBench

Some, but not all scripts report "load time" for stateless engines (time to download parquet and sync)

Offen
#944 0 Kommentare 1 Reaktion 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Shell
Sterne
1.1k
Forks
313
Ø Merge
2 Std. 43 Min.
Gemergte PRs (30 T.)
598

Beschreibung

While reviewing recent DataFusion results, I found there is now a "load time" reported for DataFusion

For example, this [link](https://benchmark.clickhouse.com/#system=+drB|erDt|ti%20rud&type=-&machine=+ca4e&cluster_size=-&opensource=-&hardware=+c&tuned=+n&metric=combined&queries=-)

Image

Here is the source file that has 17:
https://github.com/ClickHouse/ClickBench/blob/a377499b950b17b2d96b79625375d57b18a36634/datafusion-partitioned/results/20260511/c6a.4xlarge.json#L10

It was added in https://github.com/ClickHouse/ClickBench/commit/6d5ee0a68573bbb481fdb8f799cc3348a9bb0634 which was part of a large refactoring in https://github.com/ClickHouse/ClickBench/pull/860

Image

I am not sure if you intended the load_time to include the download / fsync time for the raw parquet dataset, but if you did I would request that we measure it consistently across stateless engines

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginnen Sie mit der verknüpften Datei datafusion-partitioned/results/20260511/c6a.4xlarge.json und überprüfen Sie die Hinzufügung von load_time aus Commit 6d5ee0a und Pull Request #860. Vergleichen Sie, wie die stateless-engine-Skripte die Ladezeit melden, klären Sie, ob der Download von rohem Parquet und fsync in die Messung gehören, und betrachten Sie die Arbeit als abgeschlossen, wenn die Berichterstattung über diese Engines hinweg konsistent ist.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
shell
Bereich
data-engineering, databases
Issue-Typ
Feature
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Ruhig
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
45/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.