InternalParquetRecordWriter - Too much memory used
- Vorherrschende Sprache
- Java
- Sterne
- 3.1k
- Forks
- 1.6k
- Ø Merge
- 3 T. 12 Std.
- Gemergte PRs (30 T.)
- 33
Beschreibung
Our logs are full of entries starting with `InternalParquetRecordWriter - Too much memory used: (...)`. We shall investigate why this is logged and whether it is a logging issue or some regression in our memory consumption.
**Reporter**: [Gabor Szadovszky](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=gszadovszky) / @gszadovszky
**Note**: *This issue was originally created as [PARQUET-1833](https://issues.apache.org/jira/browse/PARQUET-1833). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Beginne damit, InternalParquetRecordWriter und den Code zu lokalisieren, der den Logeintrag “Too much memory used” ausgibt. Reproduziere die Bedingung, die ihn auslöst, oder verfolge sie zurück. Bestimme anschließend, ob die Meldung durch fehlerhaftes Logging oder eine Regression beim Speicherverbrauch verursacht wird. Erledigt ist die Aufgabe, wenn die Ursache identifiziert ist und das Issue eine klare Richtung für die Korrektur vorgibt.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- java
- Bereich
- data-engineering
- Issue-Typ
- Bug
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 25/100