Parquet OutputFormat should allow controlling the file size
- Vorherrschende Sprache
- Java
- Sterne
- 3.1k
- Forks
- 1.6k
- Ø Merge
- 3 T. 12 Std.
- Gemergte PRs (30 T.)
- 33
Beschreibung
To generate the most efficient on disk file, the size of the file is important to control. It would be nice if we could configure the ouputformat to roll over new files when it reaches the right size and start a new file.
There's currently no easy way to tune this and requires indirect tuning (number of reduces, map input size).
**Reporter**: [Nong Li](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=nongli) / @nongli
**Note**: *This issue was originally created as [PARQUET-17](https://issues.apache.org/jira/browse/PARQUET-17). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Das Issue nennt das Parquet OutputFormat, aber keine Dateien oder Tests. Beginne damit, diesen Einstiegspunkt zu finden und festzustellen, wie die Größe der Ausgabedatei derzeit behandelt wird; abgeschlossen ist die Arbeit, wenn ein konfigurierbarer Größenschwellwert bereitgestellt wird, der bei Erreichen die Ausgabe in eine neue Datei schreibt.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- java
- Bereich
- data-engineering
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 25/100