Improve the RLE encoding for Parquet Dictionary IDs
- Lenguaje dominante
- Java
- Estrellas
- 3.1k
- Forks
- 1.6k
- Merge medio
- 3 d 12 h
- PR fusionados (30 d)
- 33
Descripción
The IDs of Parquet Dictionary encoding is using `RunLengthBitPackingHybridEncoder`.
RunLengthBitPackingHybridEncoder handles encoding with `repeat` and `bitpacking`, we should improve it with the method likes `DeltaBinaryPackingWriter`
**Reporter**: [Dapeng Sun](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=dapengsun) / @sundapeng
**Note**: *This issue was originally created as [PARQUET-1059](https://issues.apache.org/jira/browse/PARQUET-1059). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Línea de trabajo
Start by locating RunLengthBitPackingHybridEncoder and DeltaBinaryPackingWriter in the Java sources, then read their encoding and test coverage. Determine the intended improved handling for Parquet Dictionary IDs and define completion through encoding correctness and performance tests; the issue does not name specific files or tests.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- java
- Área
- data-engineering
- Tipo de issue
- Refactorización
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Estado de actividad
- Estancado
- Claridad
- Necesita aclaración
- Aptitud para principiantes
- 25/100