apache / apache/arrow-java

[Java] [Benchmarking] Large stdout when running benchmarks

Offen
#378 3 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Type: bug
Vorherrschende Sprache
Java
Sterne
94
Forks
152
Ø Merge
3 T. 16 Std.
Gemergte PRs (30 T.)
11

Beschreibung

Since ARROW-15058 running the Java benchmarks results in stdout logs that are extremely large (we're seeing them at ~14gb). This is disrupting running benchmarks on conbench.

We've temporarily worked around this by disabling stdout logging entirely, but this will make debugging issues in the future much harder.

Is there any way to reduce the volume of stdout logging when running these benchmarks?

cc @davisusanibar [~fan_li_ya]

**Reporter**: [Elena Henderson](https://issues.apache.org/jira/browse/ARROW-15259) / @ElenaHenderson

**Note**: *This issue was originally created as [ARROW-15259](https://issues.apache.org/jira/browse/ARROW-15259). Please see the [migration documentation](https://github.com/apache/arrow/issues/14542) for further details.*

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Das Issue nennt keine Quelldatei, keinen Benchmark-Einstiegspunkt und keinen Test. Beginne damit, einen Java-Benchmark-Lauf zu reproduzieren und die seit ARROW-15058 eingeführte Protokollierung nachzuverfolgen; vergleiche das Ausgabevolumen mit der vorübergehenden Problemumgehung, die stdout deaktiviert. Als erledigt gilt die Aufgabe, wenn die Benchmark-Ausgabe auf stdout wesentlich kleiner ist, während nützliche Debugging-Ausgaben erhalten bleiben und conbench nicht beeinträchtigt wird.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
performance
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.