apache / apache/parquet-java

Harden variant decoding

Offen
#3,561 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Type: enhancement
Vorherrschende Sprache
Java
Sterne
3.1k
Forks
1.6k
Ø Merge
3 T. 12 Std.
Gemergte PRs (30 T.)
33

Beschreibung

### Describe the enhancement requested

org.apache.parquet.variant.Variant is brittle against malformed variants, whereas the arrow variant is very strict and includes an optional deep validate phase

* Harden the java implementation, where it doesn't impose any performance penalty
* add tests which can also generate malformed files to add to the parquet test files

The work in #3481 should include some of this or this should be an immediate followon (preferred)

### Component(s)

parquet-variant

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginne damit, org.apache.parquet.variant.Variant und die parquet-variant-Komponente zu lesen, vergleiche anschließend deren Umgang mit fehlerhaften Eingaben mit Arrow variant und sieh dir die Arbeit in #3481 an. Erledigt ist die Aufgabe, wenn die Java-Variant-Decodierung ohne unnötige Leistungseinbußen robuster ist und Tests vorhanden sind, die fehlerhafte Dateien erzeugen und sie zu den Parquet-Testdateien hinzufügen.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
data
Issue-Typ
Feature
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Ruhig
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
42/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.