Skip the storage of repetition level and definition level for all-null column
- 主要言語
- Java
- スター
- 3.1k
- フォーク
- 1.6k
- 平均マージ
- 3日 12時間
- マージ済み PR(30日)
- 33
説明
I have a very sparse protobuf message in my project, with thousands of fields.
In practise, most of the fields are all null values in one page.
But the repetition level and definition level takes lots of storage space.
Can parquet skip the storage of r level and d level for such all-null columns to save storage space?
**Reporter**: [Li](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=lirui-tx)
**Note**: *This issue was originally created as [PARQUET-792](https://issues.apache.org/jira/browse/PARQUET-792). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
調査の方向性
issue では、ファイル、テスト、エントリーポイントのいずれも指定されていません。まず、反復レベルと定義レベルをエンコードしている Java コードを特定し、次にすべての値が null の列に対する既存のテストを確認してください。完了の条件は、説明されたケースでレベルの保存を避けるための合意された実装とリグレッションテストのカバレッジがあることです。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- java
- 領域
- databases
- issue の種類
- 機能追加
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 活発さ
- 停滞
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 20/100