Skip the storage of repetition level and definition level for all-null column
- Vorherrschende Sprache
- Java
- Sterne
- 3.1k
- Forks
- 1.6k
- Ø Merge
- 3 T. 12 Std.
- Gemergte PRs (30 T.)
- 33
Beschreibung
I have a very sparse protobuf message in my project, with thousands of fields.
In practise, most of the fields are all null values in one page.
But the repetition level and definition level takes lots of storage space.
Can parquet skip the storage of r level and d level for such all-null columns to save storage space?
**Reporter**: [Li](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=lirui-tx)
**Note**: *This issue was originally created as [PARQUET-792](https://issues.apache.org/jira/browse/PARQUET-792). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
In der Issue werden keine Datei, kein Test und kein Einstiegspunkt genannt. Beginne damit, den Java-Code zu finden, der Wiederholungs- und Definitionslevel codiert, und prüfe anschließend die vorhandenen Tests für Spalten, die vollständig aus null bestehen. Als abgeschlossen gilt die Vereinbarung über eine Implementierung und eine Regressionstestabdeckung, um die Speicherung von Levels im beschriebenen Fall zu vermeiden.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- java
- Bereich
- databases
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 20/100