Harden variant decoding
- Langage dominant
- Java
- Étoiles
- 3.1k
- Forks
- 1.6k
- Merge moyen
- 3 j 12 h
- PR mergées (30 j)
- 33
Description
### Describe the enhancement requested
org.apache.parquet.variant.Variant is brittle against malformed variants, whereas the arrow variant is very strict and includes an optional deep validate phase
* Harden the java implementation, where it doesn't impose any performance penalty
* add tests which can also generate malformed files to add to the parquet test files
The work in #3481 should include some of this or this should be an immediate followon (preferred)
### Component(s)
parquet-variant
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Piste de recherche
Commencez par lire org.apache.parquet.variant.Variant et le composant parquet-variant, puis comparez sa gestion des entrées malformées avec Arrow variant et examinez le travail de #3481. Le travail est terminé lorsque le décodage de variant en Java est renforcé sans coût de performance inutile, avec des tests qui génèrent des fichiers malformés et les ajoutent aux fichiers de test Parquet.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- java
- Domaine
- data
- Type d'issue
- Fonctionnalité
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Activité
- Calme
- Clarté
- À clarifier
- Accessibilité débutants
- 42/100