apache / apache/parquet-java

ParquetOutputCommitter should propagate errors when writing metadata files

Offen
#1,895 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Component: Parquet Priority: Minor Type: enhancement
Vorherrschende Sprache
Java
Sterne
3.1k
Forks
1.6k
Ø Merge
3 T. 12 Std.
Gemergte PRs (30 T.)
33

Beschreibung

There's a lot of different ways the output committer can fail, or fail to rollback after failing to write metadata files. We should decide whether metadata files are required, and fatal (I think that's reasonable if the user asked for them), and propagate without squashing exceptions.

**Reporter**: [Alex Levenson](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=alexlevenson) / @isnotinvain
#### PRs and other links:
- [GitHub Pull Request #502](https://github.com/apache/parquet-mr/pull/502)

**Note**: *This issue was originally created as [PARQUET-383](https://issues.apache.org/jira/browse/PARQUET-383). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginne mit ParquetOutputCommitter und prüfe den verlinkten Pull Request #502 zusammen mit dem ursprünglichen PARQUET-383-Kontext. Kläre, ob Fehler beim Schreiben von Metadaten fatal sind und wie Rollback-Fehler weitergegeben werden sollen; als abgeschlossen gilt die Aufgabe, wenn das gewählte Verhalten implementiert ist, ohne die relevanten Exceptions zu verschlucken, und durch Tests abgedeckt wird.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
data-engineering
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.