Sample of usage Parquet-1396 and Parquet-1178 for column level encryption with pluggable key access
- 主要言語
- Java
- スター
- 3.1k
- フォーク
- 1.6k
- 平均マージ
- 3日 12時間
- マージ済み PR(30日)
- 33
説明
This Jira provides a sample to use Parquet-1396 and Parquet-1178 column level encryption with pluggable key access. The Spark SQL application shows how to configure Parquet-1396 to encrypt and columns. The project CryptoMetadataRetriever shows how to implement the interface defined in Parquet-1396 as an example.
The project to be uploaded soon.
**Reporter**: [Xinli Shang](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=shangx@uber.com) / @shangxinli
#### Related issues:
- [EncryptionPropertiesFactory and DecryptionPropertiesFactory](https://github.com/apache/parquet-java/issues/2220) (Blocked)
- [Passing Field Metadata to Parquet](https://issues.apache.org/jira/browse/SPARK-25858) (Blocked)
- [Parquet modular encryption](https://github.com/apache/parquet-java/issues/2110) (depends upon)
#### Externally tracked issue: [https://github.com/apache/parquet-java/issues/2220](https://github.com/apache/parquet-java/issues/2220)
**Note**: *This issue was originally created as [PARQUET-1397](https://issues.apache.org/jira/browse/PARQUET-1397). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
調査の方向性
まず Parquet-1396 と Parquet-1178 を読み、次にブロックされている関連 issue 2220 と SPARK-25858、および依存する issue 2110 を確認します。この issue では、Spark SQL アプリケーションと CryptoMetadataRetriever プロジェクトで暗号化設定とインターフェース実装を示す必要があるとされていますが、プロジェクトはまだ添付されていません。サンプルプロジェクトがアップロードされ、2 つの使用経路が文書化されれば完了です。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- java, spark
- 領域
- data-engineering, security
- issue の種類
- ドキュメント
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 停滞
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 20/100