apache / apache/parquet-java

Use airlift non-native implementations for GZIP, LZ0 and LZ4 codecs

Abierto
#2,359 1 comentario 0 reacciones 0 asignados Ver en GitHub
Component: Parquet Priority: Major Type: enhancement
Lenguaje dominante
Java
Estrellas
3.1k
Forks
1.6k
Merge medio
3 d 12 h
PR fusionados (30 d)
33

Descripción

@rdblue  pointed me to  which provides non-native implementations of compression codecs. It claims to be much faster than native wrappers that parquet uses. This Jira is to track the work needed for exploring using these codecs, getting benchmark results and making changes including not needing to pool compressors and decompressors anymore. Note that this doesn't include SNAPPY since Parquet already has its own non-hadoopy implementation for it. 

**Reporter**: [Samarth Jain](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=samarthjain) / @samarthjain
**Assignee**: [Samarth Jain](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=samarthjain) / @samarthjain
#### PRs and other links:
- [GitHub Pull Request #671](https://github.com/apache/parquet-mr/pull/671)

**Note**: *This issue was originally created as [PARQUET-1643](https://issues.apache.org/jira/browse/PARQUET-1643). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Línea de trabajo

Comienza revisando airlift/aircompressor y el trabajo registrado en el pull request #671. Investiga los cambios en los códecs GZIP, LZ0 y LZ4 y los resultados de los benchmarks, incluido si sigue siendo necesario mantener pools de compresores y descompresores. Se considera completado cuando la exploración, los benchmarks y los cambios relacionados de Parquet estén terminados y documentados.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
java
Área
data, performance
Tipo de issue
Nueva funcionalidad
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Estancado
Claridad
Necesita aclaración
Aptitud para principiantes
15/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.