apache / apache/parquet-java

Sample of usage Parquet-1396 and Parquet-1178 for column level encryption with pluggable key access

Abierto
#2,221 1 comentario 0 reacciones 0 asignados Ver en GitHub
Component: Java Component: Parquet Priority: Major Type: test
Lenguaje dominante
Java
Estrellas
3.1k
Forks
1.6k
Merge medio
3 d 12 h
PR fusionados (30 d)
33

Descripción

This Jira provides a sample to use Parquet-1396 and Parquet-1178 column level encryption with pluggable key access. The Spark SQL application shows how to configure Parquet-1396 to encrypt and columns. The project CryptoMetadataRetriever shows how to implement the interface defined in Parquet-1396 as an example. 

The project to be uploaded soon. 

 

**Reporter**: [Xinli Shang](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=shangx@uber.com) / @shangxinli
#### Related issues:
- [EncryptionPropertiesFactory and DecryptionPropertiesFactory](https://github.com/apache/parquet-java/issues/2220) (Blocked)
- [Passing Field Metadata to Parquet](https://issues.apache.org/jira/browse/SPARK-25858) (Blocked)
- [Parquet modular encryption](https://github.com/apache/parquet-java/issues/2110) (depends upon)
#### Externally tracked issue: [https://github.com/apache/parquet-java/issues/2220](https://github.com/apache/parquet-java/issues/2220)

**Note**: *This issue was originally created as [PARQUET-1397](https://issues.apache.org/jira/browse/PARQUET-1397). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Línea de trabajo

Empieza leyendo Parquet-1396 y Parquet-1178; después revisa las issues relacionadas bloqueadas 2220 y SPARK-25858, y la issue dependiente 2110. La issue indica que una aplicación de Spark SQL y un proyecto de CryptoMetadataRetriever deben demostrar la configuración del cifrado y la implementación de la interfaz, pero el proyecto todavía no está adjunto. Se considera terminado cuando el proyecto de ejemplo se haya subido y documente ambas rutas de uso.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
java, spark
Área
data-engineering, security
Tipo de issue
Documentación
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Estancado
Claridad
Necesita aclaración
Aptitud para principiantes
20/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.