ParquetOutputCommitter should propagate errors when writing metadata files
- Lenguaje dominante
- Java
- Estrellas
- 3.1k
- Forks
- 1.6k
- Merge medio
- 3 d 12 h
- PR fusionados (30 d)
- 33
Descripción
There's a lot of different ways the output committer can fail, or fail to rollback after failing to write metadata files. We should decide whether metadata files are required, and fatal (I think that's reasonable if the user asked for them), and propagate without squashing exceptions.
**Reporter**: [Alex Levenson](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=alexlevenson) / @isnotinvain
#### PRs and other links:
- [GitHub Pull Request #502](https://github.com/apache/parquet-mr/pull/502)
**Note**: *This issue was originally created as [PARQUET-383](https://issues.apache.org/jira/browse/PARQUET-383). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Línea de trabajo
Empieza con ParquetOutputCommitter y revisa el pull request #502 enlazado, junto con el contexto original de PARQUET-383. Aclara si los fallos al escribir metadatos son fatales y cómo deben propagarse los errores de rollback; se considera terminado cuando el comportamiento elegido está implementado sin ocultar las excepciones relevantes y está cubierto por pruebas.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- java
- Área
- data-engineering
- Tipo de issue
- Error
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Estancado
- Claridad
- Necesita aclaración
- Aptitud para principiantes
- 25/100