Sample of usage Parquet-1396 and Parquet-1178 for column level encryption with pluggable key access
- Vorherrschende Sprache
- Java
- Sterne
- 3.1k
- Forks
- 1.6k
- Ø Merge
- 3 T. 12 Std.
- Gemergte PRs (30 T.)
- 33
Beschreibung
This Jira provides a sample to use Parquet-1396 and Parquet-1178 column level encryption with pluggable key access. The Spark SQL application shows how to configure Parquet-1396 to encrypt and columns. The project CryptoMetadataRetriever shows how to implement the interface defined in Parquet-1396 as an example.
The project to be uploaded soon.
**Reporter**: [Xinli Shang](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=shangx@uber.com) / @shangxinli
#### Related issues:
- [EncryptionPropertiesFactory and DecryptionPropertiesFactory](https://github.com/apache/parquet-java/issues/2220) (Blocked)
- [Passing Field Metadata to Parquet](https://issues.apache.org/jira/browse/SPARK-25858) (Blocked)
- [Parquet modular encryption](https://github.com/apache/parquet-java/issues/2110) (depends upon)
#### Externally tracked issue: [https://github.com/apache/parquet-java/issues/2220](https://github.com/apache/parquet-java/issues/2220)
**Note**: *This issue was originally created as [PARQUET-1397](https://issues.apache.org/jira/browse/PARQUET-1397). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Beginne mit dem Lesen von Parquet-1396 und Parquet-1178, überprüfe anschließend die blockierten verwandten Issues 2220 und SPARK-25858 sowie das abhängige Issue 2110. Im Issue steht, dass eine Spark SQL-Anwendung und ein CryptoMetadataRetriever-Projekt die Verschlüsselungskonfiguration und die Implementierung der Schnittstelle demonstrieren sollen, aber das Projekt noch nicht angehängt ist. Erledigt ist die Aufgabe, wenn das Beispielprojekt hochgeladen ist und beide Verwendungspfade dokumentiert.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- java, spark
- Bereich
- data-engineering, security
- Issue-Typ
- Dokumentation
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 20/100