Is it possible to apply specific encodings on specific columns with ParquetWriter?
- Vorherrschende Sprache
- Java
- Sterne
- 3.1k
- Forks
- 1.6k
- Ø Merge
- 3 T. 12 Std.
- Gemergte PRs (30 T.)
- 33
Beschreibung
I’m working on a tool that generates Parquet files based on a file definition provided in JSON. I use the parquet-java library for this, and I’m curious if it’s possible to specify a particular type of encoding for specific columns when generating the file.
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Beginnen Sie mit dem im Issue erwähnten Einstiegspunkt ParquetWriter und untersuchen Sie, wie Spaltenkodierungen konfiguriert werden. Vergleichen Sie dies mit der JSON-basierten Dateidefinition und stellen Sie anschließend fest, ob unterschiedliche Kodierungen pro Spalte ausgewählt werden können; abgeschlossen ist die Aufgabe, wenn eine klare Aussage darüber vorliegt, ob dies unterstützt wird oder nicht, und die entsprechende Einschränkung oder Konfiguration dokumentiert ist.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- java
- Bereich
- data-engineering
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 25/100