apache / apache/parquet-java

provide an option to skip entire row group in case corrupted bytes occur

Ouverte
#1,699 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Component: Parquet Priority: Major Type: enhancement
Langage dominant
Java
Étoiles
3.1k
Forks
1.6k
Merge moyen
3 j 12 h
PR mergées (30 j)
33

Description

In case of hardware failure (disk, memory, etc), there might be corrupted bytes. That will result in ArrayIndexOutOfBoundException or/and data garbled.

Currently, jobs reading those Parquet files will fail unless the corrupted files are deleted/moved.

It would be better if Parquet provide an option to skip entire row group (and report how many rows being affected) in case of corrupted bytes.

related issue: PARQUET-147

**Reporter**: [Tongjie Chen](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=tongjie) / @tongjiechen

**Note**: *This issue was originally created as [PARQUET-148](https://issues.apache.org/jira/browse/PARQUET-148). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Aucun fichier, test ou point d’entrée n’est nommé. Commencez par suivre la lecture des groupes de lignes dans Parquet Java et sa gestion des octets corrompus ; le travail est terminé lorsqu’un comportement opt-in peut ignorer un groupe de lignes affecté et indiquer combien de lignes ont été affectées.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
java
Domaine
data-engineering
Type d'issue
Fonctionnalité
Difficulté
5/5
Temps estimé
Plus d'une semaine
Activité
À l'abandon
Clarté
À clarifier
Accessibilité débutants
25/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.