apache / apache/arrow-java

[Java] [Benchmarking] Large stdout when running benchmarks

オープン
#378 コメント 3 件 リアクション 0 件 担当者 0 名 GitHub で見る
Type: bug
主要言語
Java
スター
94
フォーク
152
平均マージ
3日 16時間
マージ済み PR(30日)
11

説明

Since ARROW-15058 running the Java benchmarks results in stdout logs that are extremely large (we're seeing them at ~14gb). This is disrupting running benchmarks on conbench.

We've temporarily worked around this by disabling stdout logging entirely, but this will make debugging issues in the future much harder.

Is there any way to reduce the volume of stdout logging when running these benchmarks?

cc @davisusanibar [~fan_li_ya]

**Reporter**: [Elena Henderson](https://issues.apache.org/jira/browse/ARROW-15259) / @ElenaHenderson

**Note**: *This issue was originally created as [ARROW-15259](https://issues.apache.org/jira/browse/ARROW-15259). Please see the [migration documentation](https://github.com/apache/arrow/issues/14542) for further details.*

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

この issue では、ソースファイル、ベンチマークのエントリポイント、テストのいずれも指定されていません。まず Java ベンチマークの実行を再現し、ARROW-15058 以降に導入されたロギングを追跡します。一時的に stdout を無効化する回避策と出力量を比較してください。完了条件は、有用なデバッグ出力を維持し、conbench に支障を与えることなく、ベンチマークの stdout 出力が大幅に減少することです。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
java
領域
performance
issue の種類
バグ
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
35/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。