Parquet to report number of rows affected in the row group when corrupted bytes occur
- Vorherrschende Sprache
- Java
- Sterne
- 3.1k
- Forks
- 1.6k
- Ø Merge
- 3 T. 12 Std.
- Gemergte PRs (30 T.)
- 33
Beschreibung
In case of hardware failure (disk, memory, etc), there might be corrupted bytes. That will result in ArrayIndexOutOfBoundException or/and data garbled.
Parquet should report number of rows being affected in case of such scenario.
**Reporter**: [Tongjie Chen](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=tongjie) / @tongjiechen
**Note**: *This issue was originally created as [PARQUET-147](https://issues.apache.org/jira/browse/PARQUET-147). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Im Issue wird keine Quelldatei, kein Test und kein Einstiegspunkt genannt; beginne damit, die Pfade zum Lesen von Parquet-Zeilengruppen sowie zur Behandlung von Beschädigungen und Fehlern zu lokalisieren. Ermittle, wie beschädigte Bytes erkannt werden und wie die betroffenen Zeilen gezählt werden können, und füge anschließend Tests hinzu, die zeigen, dass eine Beschädigung die Anzahl der betroffenen Zeilen meldet, ohne fehlerhafte Daten stillschweigend zu akzeptieren.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- java
- Bereich
- data-engineering
- Issue-Typ
- Bug
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 25/100