apache / apache/parquet-java

Add a configurableValueWriterFactory for parquet-hadoop module

Offen
#2,075 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Component: Parquet Priority: Major Type: enhancement
Vorherrschende Sprache
Java
Sterne
3.1k
Forks
1.6k
Ø Merge
3 T. 12 Std.
Gemergte PRs (30 T.)
33

Beschreibung

Currently, `ValuesWriterFactory` could be config at `ParquetProperties`, but `ParquetOutputFormat` which is used by Hadoop and Hive haven't support to custom a ValuesWriterFactory. We should support update `ParquetOutputFormat` to support it.

**Reporter**: [Dapeng Sun](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=dapengsun) / @sundapeng
#### Related issues:
- [Support enable/disable dictionary for column](https://github.com/apache/parquet-java/issues/2072) (relates to)

**Note**: *This issue was originally created as [PARQUET-1062](https://issues.apache.org/jira/browse/PARQUET-1062). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginne mit dem Lesen von ParquetOutputFormat und ParquetProperties und verfolge anschließend, wie ValuesWriterFactory derzeit konfiguriert wird. Als abgeschlossen gilt die Aufgabe, wenn Hadoop- und Hive-Benutzer über ParquetOutputFormat eine benutzerdefinierte ValuesWriterFactory bereitstellen können; in der Issue wird keine bestimmte Testdatei genannt.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
data-engineering
Issue-Typ
Feature
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.