Why doesn't Parquet currently support writing multiple row groups simultaneously?
- Vorherrschende Sprache
- Java
- Sterne
- 3.1k
- Forks
- 1.6k
- Ø Merge
- 3 T. 12 Std.
- Gemergte PRs (30 T.)
- 33
Beschreibung
Hi Parquet developers,
I have a question regarding the current implementation of Parquet. As far as I understand, Parquet does not support writing multiple row groups simultaneously. Could you please explain the reasoning behind this design choice?
Additionally, I am considering modifying Parquet to allow for multiple row groups to exist in memory and be flushed sequentially. From a high-level perspective, does this approach seem feasible? Are there any potential pitfalls or challenges I should be aware of?
Thank you for your time and assistance.
Best regards,
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Es ist keine Quelldatei, kein Test und kein Einstiegspunkt angegeben. Beginne damit, den aktuellen Parquet-Writer und die Behandlung von Zeilengruppen zu finden, und verfolge anschließend, wie Zeilengruppen gehalten und geleert werden; für den Abschluss wären ein von einem Maintainer bestätigtes Design und dokumentierte Antworten zur Machbarkeit, Speichernutzung, Reihenfolge und anderen Fallstricken erforderlich.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- java
- Bereich
- data-engineering
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 25/100