Add PARQUET_1_0 and non-repeated data performance tests to parquet-benchmarks
- Lenguaje dominante
- Java
- Estrellas
- 3.1k
- Forks
- 1.6k
- Merge medio
- 3 d 12 h
- PR fusionados (30 d)
- 33
Descripción
The current parquet-benchmarks module run some performance tests between different block & page sizes for PARQUET_2_0 version only. We should run some tests with PARQUET_1_0 version as well in order to get a view about new parquet version enhancements, and be able to catch possible overheads early by comparing with the old file format.
Also, this module uses repeated data to benchmark the settings. We should also use random data to get different results about how current and new encodings work with real world data.
**Reporter**: [Sergio Peña](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=spena) / @spena
**Assignee**: [Sergio Peña](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=spena) / @spena
#### PRs and other links:
- [PR-224](https://github.com/apache/parquet-mr/pull/224)
**Note**: *This issue was originally created as [PARQUET-315](https://issues.apache.org/jira/browse/PARQUET-315). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Línea de trabajo
Comienza en el módulo parquet-benchmarks y revisa las pruebas de rendimiento existentes de PARQUET_2_0 que varían los tamaños de bloque y de página. Añade cobertura para PARQUET_1_0 y datos aleatorios junto a los benchmarks de datos repetidos, y después compara los resultados para confirmar que se ejercitan ambas versiones del formato y ambos patrones de datos; consulta PR-224 para conocer el trabajo y el contexto previos.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- java
- Área
- data-engineering, performance
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Estancado
- Claridad
- Bastante claro
- Aptitud para principiantes
- 20/100