apache / apache/parquet-java

Harden variant decoding

Ouverte
#3,561 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Type: enhancement
Langage dominant
Java
Étoiles
3.1k
Forks
1.6k
Merge moyen
3 j 12 h
PR mergées (30 j)
33

Description

### Describe the enhancement requested

org.apache.parquet.variant.Variant is brittle against malformed variants, whereas the arrow variant is very strict and includes an optional deep validate phase

* Harden the java implementation, where it doesn't impose any performance penalty
* add tests which can also generate malformed files to add to the parquet test files

The work in #3481 should include some of this or this should be an immediate followon (preferred)

### Component(s)

parquet-variant

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Commencez par lire org.apache.parquet.variant.Variant et le composant parquet-variant, puis comparez sa gestion des entrées malformées avec Arrow variant et examinez le travail de #3481. Le travail est terminé lorsque le décodage de variant en Java est renforcé sans coût de performance inutile, avec des tests qui génèrent des fichiers malformés et les ajoutent aux fichiers de test Parquet.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
java
Domaine
data
Type d'issue
Fonctionnalité
Difficulté
4/5
Temps estimé
3-5 jours
Activité
Calme
Clarté
À clarifier
Accessibilité débutants
42/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.