apache / apache/parquet-java

Skip the storage of repetition level and definition level for all-null column

Offen
#2,022 5 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Component: Java Component: Parquet Priority: Minor Type: enhancement
Vorherrschende Sprache
Java
Sterne
3.1k
Forks
1.6k
Ø Merge
3 T. 12 Std.
Gemergte PRs (30 T.)
33

Beschreibung

I have a very sparse protobuf message in my project, with thousands of fields.
In practise, most of the fields are all null values in one page.
But the repetition level and definition level takes lots of storage space.
Can parquet skip the storage of r level and d level for such all-null columns to save storage space?

**Reporter**: [Li](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=lirui-tx)

**Note**: *This issue was originally created as [PARQUET-792](https://issues.apache.org/jira/browse/PARQUET-792). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

In der Issue werden keine Datei, kein Test und kein Einstiegspunkt genannt. Beginne damit, den Java-Code zu finden, der Wiederholungs- und Definitionslevel codiert, und prüfe anschließend die vorhandenen Tests für Spalten, die vollständig aus null bestehen. Als abgeschlossen gilt die Vereinbarung über eine Implementierung und eine Regressionstestabdeckung, um die Speicherung von Levels im beschriebenen Fall zu vermeiden.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
databases
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
20/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.