Parquet-hadoop's client side logs are buffered / do not print until the job completes
- 主要言語
- Java
- スター
- 3.1k
- フォーク
- 1.6k
- 平均マージ
- 3日 12時間
- マージ済み PR(30日)
- 33
説明
Log statements from the InputFormat or anywhere else in the hadoop client / submitter seem to get buffered until the MR job completes, instead of printing as the job progresses.
**Reporter**: [Alex Levenson](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=alexlevenson) / @isnotinvain
**Note**: *This issue was originally created as [PARQUET-27](https://issues.apache.org/jira/browse/PARQUET-27). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
調査の方向性
ファイルやテストは指定されていません。まず、実行中の MapReduce ジョブで InputFormat と Hadoop クライアントまたは submitter からのログ出力を追跡し、次にそれらのメッセージがいつ表示されるようになるかを比較します。完了の条件は、クライアント側のログステートメントがジョブの進行に伴って出力され、完了後にしか出力されない状態ではなくなることです。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- java
- 領域
- data-engineering, distributed-systems
- issue の種類
- バグ
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 停滞
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 25/100