apache / apache/parquet-java

Efficient storage for several INT_8 and INT_16

Abierto
#2,034 6 comentarios 0 reacciones 0 asignados Ver en GitHub
Component: Parquet Priority: Minor Type: enhancement
Lenguaje dominante
Java
Estrellas
3.1k
Forks
1.6k
Merge medio
3 d 12 h
PR fusionados (30 d)
33

Descripción

In very large datasets, aggregating several INT8 into INT32 fields (or byte array) can make a big difference.
In parquet, efficient algorithms exist for INT32, so if the LogicalType is INT_8 the encoded int might take up only one byte.

However further optimizations could be made by allowing the user to better specify the types.
What about BYTE_ARRAY logical type, backed by FIXED_LEN_BYTE_ARRAY type (or eventually INT_32)?

**Reporter**: [Fernando Pereira](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=ferdonline)

**Note**: *This issue was originally created as [PARQUET-845](https://issues.apache.org/jira/browse/PARQUET-845). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Línea de trabajo

Comienza revisando cómo representa actualmente Parquet los tipos lógicos INT8 e INT16 con INT32 y, después, examina el comportamiento de codificación existente para los valores INT32 y BYTE_ARRAY. La tarea estará terminada cuando se acuerde una representación de tipo concreta y se implemente y valide la optimización de almacenamiento propuesta, pero el issue no indica archivos ni pruebas que ejecutar.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
java
Área
data-engineering
Tipo de issue
Nueva funcionalidad
Dificultad
5/5
Tiempo estimado
Más de una semana
Estado de actividad
Estancado
Claridad
Necesita aclaración
Aptitud para principiantes
20/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.