Harden variant decoding
- Lingua principale
- Java
- Stelle
- 3.1k
- Fork
- 1.6k
- Merge medio
- 3g 12h
- PR unite (30g)
- 33
Descrizione
### Describe the enhancement requested
org.apache.parquet.variant.Variant is brittle against malformed variants, whereas the arrow variant is very strict and includes an optional deep validate phase
* Harden the java implementation, where it doesn't impose any performance penalty
* add tests which can also generate malformed files to add to the parquet test files
The work in #3481 should include some of this or this should be an immediate followon (preferred)
### Component(s)
parquet-variant
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Direzione di ricerca
Inizia leggendo org.apache.parquet.variant.Variant e il componente parquet-variant, poi confronta la gestione degli input malformati con Arrow variant e rivedi il lavoro in #3481. Il lavoro è completato quando la decodifica di variant in Java è resa più robusta senza costi prestazionali non necessari, con test che generano file malformati e li aggiungono ai file di test Parquet.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- java
- Ambito
- data
- Tipo di issue
- Funzionalità
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Tranquilla
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 42/100