apache / apache/parquet-java

InternalParquetRecordWriter - Too much memory used

Offen
#2,478 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Component: Parquet Priority: Major Type: test
Vorherrschende Sprache
Java
Sterne
3.1k
Forks
1.6k
Ø Merge
3 T. 12 Std.
Gemergte PRs (30 T.)
33

Beschreibung

Our logs are full of entries starting with `InternalParquetRecordWriter - Too much memory used: (...)`. We shall investigate why this is logged and whether it is a logging issue or some regression in our memory consumption.

**Reporter**: [Gabor Szadovszky](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=gszadovszky) / @gszadovszky

**Note**: *This issue was originally created as [PARQUET-1833](https://issues.apache.org/jira/browse/PARQUET-1833). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginne damit, InternalParquetRecordWriter und den Code zu lokalisieren, der den Logeintrag “Too much memory used” ausgibt. Reproduziere die Bedingung, die ihn auslöst, oder verfolge sie zurück. Bestimme anschließend, ob die Meldung durch fehlerhaftes Logging oder eine Regression beim Speicherverbrauch verursacht wird. Erledigt ist die Aufgabe, wenn die Ursache identifiziert ist und das Issue eine klare Richtung für die Korrektur vorgibt.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
data-engineering
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.