Support a better encoding for Parquet Dictionary
- Vorherrschende Sprache
- Java
- Sterne
- 3.1k
- Forks
- 1.6k
- Ø Merge
- 3 T. 12 Std.
- Gemergte PRs (30 T.)
- 33
Beschreibung
Currently Parquet is using Plain encoding for the dictionary, it should support a better encoding, such as BitPacking or DeltaBinaryPacking.
**Reporter**: [Dapeng Sun](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=dapengsun) / @sundapeng
**Note**: *This issue was originally created as [PARQUET-1060](https://issues.apache.org/jira/browse/PARQUET-1060). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Beginne damit, die Implementierung der Parquet-Dictionary-Encoding und den bestehenden Plain-Encoding-Pfad zu lokalisieren; im Issue wird keine Datei und kein Test genannt. Vergleiche die unterstützten BitPacking- und DeltaBinaryPacking-Optionen und ermittle, wie Dictionary Pages sie darstellen. Als erledigt gilt die Aufgabe, wenn ein ausgewähltes besseres Encoding korrekt unterstützt und durch relevante Tests abgedeckt wird.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- java
- Bereich
- data-engineering
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 25/100