Harden variant decoding
- Vorherrschende Sprache
- Java
- Sterne
- 3.1k
- Forks
- 1.6k
- Ø Merge
- 3 T. 12 Std.
- Gemergte PRs (30 T.)
- 33
Beschreibung
### Describe the enhancement requested
org.apache.parquet.variant.Variant is brittle against malformed variants, whereas the arrow variant is very strict and includes an optional deep validate phase
* Harden the java implementation, where it doesn't impose any performance penalty
* add tests which can also generate malformed files to add to the parquet test files
The work in #3481 should include some of this or this should be an immediate followon (preferred)
### Component(s)
parquet-variant
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Beginne damit, org.apache.parquet.variant.Variant und die parquet-variant-Komponente zu lesen, vergleiche anschließend deren Umgang mit fehlerhaften Eingaben mit Arrow variant und sieh dir die Arbeit in #3481 an. Erledigt ist die Aufgabe, wenn die Java-Variant-Decodierung ohne unnötige Leistungseinbußen robuster ist und Tests vorhanden sind, die fehlerhafte Dateien erzeugen und sie zu den Parquet-Testdateien hinzufügen.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- java
- Bereich
- data
- Issue-Typ
- Feature
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Ruhig
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 42/100