apache / apache/parquet-java

InternalParquetRecordWriter doesn't immediately limit current row group to threshold

Offen
#2,441 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Component: Java Component: Parquet Priority: Major Type: bug
Vorherrschende Sprache
Java
Sterne
3.1k
Forks
1.6k
Ø Merge
3 T. 12 Std.
Gemergte PRs (30 T.)
33

Beschreibung

The MemoryManager adjust the row group size threshold of writers when the allocated memory pool fills up.
**Problem**: However InternalParquetRecordWriter only re-adjusts the row group size on the next flush meaning they still use the old size.
This opens up a possibility of getting an OOM error if all writers are started at relatively the same time and progress in tandem(I saw this when investigating failing jobs while writing to disk in Spark)

**Reporter**: [Brian Mwambazi](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=brimzi) / @brimzi
#### PRs and other links:
- [GitHub Pull Request #748](https://github.com/apache/parquet-mr/pull/748)

**Note**: *This issue was originally created as [PARQUET-1767](https://issues.apache.org/jira/browse/PARQUET-1767). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginne mit der Durchsicht von GitHub Pull Request #748 sowie der im Issue erwähnten Einstiegspunkte InternalParquetRecordWriter und MemoryManager. Bestätige, wie der Row-Group-Schwellenwert aktualisiert wird, wenn der Speicherpool voll ist, und überprüfe, dass Writer den alten Schwellenwert nicht weiter verwenden, damit parallele Writer nicht das Risiko eines OOM eingehen.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
data-engineering
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.