apache / apache/parquet-java

ParquetOutputCommitter should propagate errors when writing metadata files

オープン
#1,895 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る
Component: Parquet Priority: Minor Type: enhancement
主要言語
Java
スター
3.1k
フォーク
1.6k
平均マージ
3日 12時間
マージ済み PR(30日)
33

説明

There's a lot of different ways the output committer can fail, or fail to rollback after failing to write metadata files. We should decide whether metadata files are required, and fatal (I think that's reasonable if the user asked for them), and propagate without squashing exceptions.

**Reporter**: [Alex Levenson](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=alexlevenson) / @isnotinvain
#### PRs and other links:
- [GitHub Pull Request #502](https://github.com/apache/parquet-mr/pull/502)

**Note**: *This issue was originally created as [PARQUET-383](https://issues.apache.org/jira/browse/PARQUET-383). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

調査の方向性

ParquetOutputCommitter から始め、リンクされている pull request #502 と、元の PARQUET-383 のコンテキストを確認します。メタデータの書き込み失敗が致命的かどうか、またロールバックエラーをどのように伝播すべきかを明確にします。完了条件は、選択した動作が実装され、関連する例外を握りつぶさず、テストでカバーされていることです。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
java
領域
data-engineering
issue の種類
バグ
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
説明が足りない
初心者へのやさしさ
25/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。