apache / apache/parquet-java

Parquet to report number of rows affected in the row group when corrupted bytes occur

Offen
#1,696 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Component: Parquet Priority: Major Type: enhancement
Vorherrschende Sprache
Java
Sterne
3.1k
Forks
1.6k
Ø Merge
3 T. 12 Std.
Gemergte PRs (30 T.)
33

Beschreibung

In case of hardware failure (disk, memory, etc), there might be corrupted bytes. That will result in ArrayIndexOutOfBoundException or/and data garbled.

Parquet should report number of rows being affected in case of such scenario.

**Reporter**: [Tongjie Chen](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=tongjie) / @tongjiechen

**Note**: *This issue was originally created as [PARQUET-147](https://issues.apache.org/jira/browse/PARQUET-147). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Im Issue wird keine Quelldatei, kein Test und kein Einstiegspunkt genannt; beginne damit, die Pfade zum Lesen von Parquet-Zeilengruppen sowie zur Behandlung von Beschädigungen und Fehlern zu lokalisieren. Ermittle, wie beschädigte Bytes erkannt werden und wie die betroffenen Zeilen gezählt werden können, und füge anschließend Tests hinzu, die zeigen, dass eine Beschädigung die Anzahl der betroffenen Zeilen meldet, ohne fehlerhafte Daten stillschweigend zu akzeptieren.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
data-engineering
Issue-Typ
Bug
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.