Reduce memory pressure when reading footers
- Lingua principale
- Java
- Stelle
- 3.1k
- Fork
- 1.6k
- Merge medio
- 3g 12h
- PR unite (30g)
- 33
Descrizione
I encountered OOMs reading metadata for a dataset with 500+ columns, many of them quite sparse.
We can reduce memory utilization significantly.
**Reporter**: [Dmitriy V. Ryaboy](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=dvryaboy) / @dvryaboy
**Note**: *This issue was originally created as [PARQUET-11](https://issues.apache.org/jira/browse/PARQUET-11). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Direzione di ricerca
Inizia riproducendo la condizione di memoria insufficiente durante la lettura dei metadati di un dataset con più di 500 colonne sparse, quindi segui il percorso di lettura del footer. L’issue non indica file o test, quindi identifica il codice pertinente per i metadati e il footer prima di decidere la modifica. Il lavoro è completato quando l’utilizzo della memoria è sostanzialmente inferiore senza modificare il risultato della lettura dei metadati.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- java
- Ambito
- data-engineering, performance
- Tipo di issue
- Bug
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 30/100