ParquetOutputCommitter should propagate errors when writing metadata files
- Langage dominant
- Java
- Étoiles
- 3.1k
- Forks
- 1.6k
- Merge moyen
- 3 j 12 h
- PR mergées (30 j)
- 33
Description
There's a lot of different ways the output committer can fail, or fail to rollback after failing to write metadata files. We should decide whether metadata files are required, and fatal (I think that's reasonable if the user asked for them), and propagate without squashing exceptions.
**Reporter**: [Alex Levenson](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=alexlevenson) / @isnotinvain
#### PRs and other links:
- [GitHub Pull Request #502](https://github.com/apache/parquet-mr/pull/502)
**Note**: *This issue was originally created as [PARQUET-383](https://issues.apache.org/jira/browse/PARQUET-383). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Piste de recherche
Commencez par ParquetOutputCommitter et examinez la pull request #502 associée, ainsi que le contexte d’origine de PARQUET-383. Clarifiez si les échecs d’écriture des métadonnées sont fatals et comment les erreurs de rollback doivent être propagées ; le travail est considéré comme terminé lorsque le comportement choisi est implémenté sans écraser les exceptions pertinentes et qu’il est couvert par des tests.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- java
- Domaine
- data-engineering
- Type d'issue
- Bug
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Activité
- À l'abandon
- Clarté
- À clarifier
- Accessibilité débutants
- 25/100