Parquet check-stats command only supports checking BINARY type columns.
- 主要言語
- Java
- スター
- 3.1k
- フォーク
- 1.6k
- 平均マージ
- 3日 12時間
- マージ済み PR（30日）
- 33
説明
Hi, community, could you tell me why parquet check-stats command only supports checking BINARY type columns?
https://github.com/apache/parquet-java/blob/5ac50884e9ee27a1ce3ee18cc5ed4422147e5387/parquet-cli/src/main/java/org/apache/parquet/cli/commands/CheckParquet251Command.java#L104
Could we add some optional parameters so that it can detect all types of columns? I just want to use this tool to know whether there is any data corruption in the parquet file(not just for BINARY type columns).
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
調査の方向性
まず parquet-cli/src/main/java/org/apache/parquet/cli/commands/CheckParquet251Command.java の104行目付近を読み、現在のBINARYのみを対象とするチェックを理解します。オプションのパラメーターで列の型をどのように選択すべきかを確認し、そのうえで、コマンドがBINARY列だけでなく非BINARY列の破損も検出できることを検証します。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- java
- 領域
- cli
- issue の種類
- 機能追加
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 停滞
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 35/100