apache / apache/parquet-java

Snappy Compression: Optimize DirectBuffer handling/release

Aperta
#1,718 1 commento 0 reazioni 0 assegnatari Vedi su GitHub
Component: Java Component: Parquet Priority: Minor Type: enhancement
Lingua principale
Java
Stelle
3.1k
Fork
1.6k
Merge medio
3g 12h
PR unite (30g)
33

Descrizione

The snappy compressor keeps buffers around even when they are not actively being used. When the buffer size is large this can lead to a lot of unneeded memory overhead.

**Reporter**: [Dale Richardson](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=tigerquoll) / @tigerquoll

**Note**: *This issue was originally created as [PARQUET-167](https://issues.apache.org/jira/browse/PARQUET-167). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

La issue non indica file né test. Inizia individuando il compressore Snappy e i relativi percorsi di allocazione e rilascio di DirectBuffer, quindi traccia quando i buffer rimangono trattenuti pur essendo inattivi. Il lavoro è completato quando i buffer inattivi di grandi dimensioni vengono rilasciati senza compromettere il comportamento della compressione; aggiungi o aggiorna la copertura relativa a questo ciclo di vita se il progetto dispone di test pertinenti.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
java
Ambito
performance
Tipo di issue
Bug
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.