apache / apache/parquet-java

Add PARQUET_1_0 and non-repeated data performance tests to parquet-benchmarks

Abierto
#1,839 1 comentario 0 reacciones 0 asignados Ver en GitHub
Component: Java Component: Parquet Priority: Minor Type: test
Lenguaje dominante
Java
Estrellas
3.1k
Forks
1.6k
Merge medio
3 d 12 h
PR fusionados (30 d)
33

Descripción

The current parquet-benchmarks module run some performance tests between different block & page sizes for PARQUET_2_0 version only. We should run some tests with PARQUET_1_0 version as well in order to get a view about new parquet version enhancements, and be able to catch possible overheads early by comparing with the old file format.

Also, this module uses repeated data to benchmark the settings. We should also use random data to get different results about how current and new encodings work with real world data.

**Reporter**: [Sergio Peña](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=spena) / @spena
**Assignee**: [Sergio Peña](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=spena) / @spena
#### PRs and other links:
- [PR-224](https://github.com/apache/parquet-mr/pull/224)

**Note**: *This issue was originally created as [PARQUET-315](https://issues.apache.org/jira/browse/PARQUET-315). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Línea de trabajo

Comienza en el módulo parquet-benchmarks y revisa las pruebas de rendimiento existentes de PARQUET_2_0 que varían los tamaños de bloque y de página. Añade cobertura para PARQUET_1_0 y datos aleatorios junto a los benchmarks de datos repetidos, y después compara los resultados para confirmar que se ejercitan ambas versiones del formato y ambos patrones de datos; consulta PR-224 para conocer el trabajo y el contexto previos.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
java
Área
data-engineering, performance
Tipo de issue
Nueva funcionalidad
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Estancado
Claridad
Bastante claro
Aptitud para principiantes
20/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.