apache / apache/parquet-java

Support empty structs in Thrift

Offen
#1,589 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Component: Java Component: Parquet Priority: Major Type: enhancement
Vorherrschende Sprache
Java
Sterne
3.1k
Forks
1.6k
Ø Merge
3 T. 12 Std.
Gemergte PRs (30 T.)
33

Beschreibung

It is tricky to support in parquet because struct fields are stored in the definition levels of the fields they contain.
So if there is no content, they can not be stored.
Here is a proposed solution to support this in Parquet: https://github.com/apache/incubator-parquet-mr/pull/65
Basically, I'm adding an artificial optional field in the struct that will be always null but will store whether the struct that contains it is defined or not.

**Reporter**: [Julien Le Dem](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=julienledem) / @julienledem
**Assignee**: [Julien Le Dem](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=julienledem) / @julienledem

**Note**: *This issue was originally created as [PARQUET-103](https://issues.apache.org/jira/browse/PARQUET-103). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginne damit, die in parquet-mr pull request 65 vorgeschlagene Lösung und den Hintergrund dazu zu lesen, wie leere Structs in Parquet dargestellt werden. Erledigt ist die Aufgabe, wenn parquet-java das Lesen und Schreiben leerer Structs unterstützt und dabei beibehält, ob der Struct definiert oder null ist.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
data-engineering
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.