Parquet to report number of rows affected in the row group when corrupted bytes occur
- Langage dominant
- Java
- Étoiles
- 3.1k
- Forks
- 1.6k
- Merge moyen
- 3 j 12 h
- PR mergées (30 j)
- 33
Description
In case of hardware failure (disk, memory, etc), there might be corrupted bytes. That will result in ArrayIndexOutOfBoundException or/and data garbled.
Parquet should report number of rows being affected in case of such scenario.
**Reporter**: [Tongjie Chen](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=tongjie) / @tongjiechen
**Note**: *This issue was originally created as [PARQUET-147](https://issues.apache.org/jira/browse/PARQUET-147). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Piste de recherche
L’issue ne nomme aucun fichier source, test ni point d’entrée ; commencez par localiser les chemins de lecture des groupes de lignes de Parquet et de gestion de la corruption/des erreurs. Déterminez comment les octets corrompus sont détectés et comment les lignes affectées peuvent être comptées, puis ajoutez une couverture montrant qu’une corruption signale le nombre de lignes affectées sans accepter silencieusement des données illisibles.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- java
- Domaine
- data-engineering
- Type d'issue
- Bug
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Activité
- À l'abandon
- Clarté
- À clarifier
- Accessibilité débutants
- 25/100