Add a configurableValueWriterFactory for parquet-hadoop module
- Vorherrschende Sprache
- Java
- Sterne
- 3.1k
- Forks
- 1.6k
- Ø Merge
- 3 T. 12 Std.
- Gemergte PRs (30 T.)
- 33
Beschreibung
Currently, `ValuesWriterFactory` could be config at `ParquetProperties`, but `ParquetOutputFormat` which is used by Hadoop and Hive haven't support to custom a ValuesWriterFactory. We should support update `ParquetOutputFormat` to support it.
**Reporter**: [Dapeng Sun](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=dapengsun) / @sundapeng
#### Related issues:
- [Support enable/disable dictionary for column](https://github.com/apache/parquet-java/issues/2072) (relates to)
**Note**: *This issue was originally created as [PARQUET-1062](https://issues.apache.org/jira/browse/PARQUET-1062). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Beginne mit dem Lesen von ParquetOutputFormat und ParquetProperties und verfolge anschließend, wie ValuesWriterFactory derzeit konfiguriert wird. Als abgeschlossen gilt die Aufgabe, wenn Hadoop- und Hive-Benutzer über ParquetOutputFormat eine benutzerdefinierte ValuesWriterFactory bereitstellen können; in der Issue wird keine bestimmte Testdatei genannt.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- java
- Bereich
- data-engineering
- Issue-Typ
- Feature
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 35/100