Harden variant decoding
- 主要言語
- Java
- スター
- 3.1k
- フォーク
- 1.6k
- 平均マージ
- 3日 12時間
- マージ済み PR(30日)
- 33
説明
### Describe the enhancement requested
org.apache.parquet.variant.Variant is brittle against malformed variants, whereas the arrow variant is very strict and includes an optional deep validate phase
* Harden the java implementation, where it doesn't impose any performance penalty
* add tests which can also generate malformed files to add to the parquet test files
The work in #3481 should include some of this or this should be an immediate followon (preferred)
### Component(s)
parquet-variant
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
調査の方向性
まず org.apache.parquet.variant.Variant と parquet-variant コンポーネントを読み、次に不正な入力の処理を Arrow variant と比較し、#3481 の作業を確認します。完了の条件は、不要なパフォーマンスコストをかけずに Java variant のデコードが堅牢化され、不正なファイルを生成して Parquet のテストファイルに追加するテストがあることです。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- java
- 領域
- data
- issue の種類
- 機能追加
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 静か
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 42/100