Use airlift non-native implementations for GZIP, LZ0 and LZ4 codecs
- Lingua principale
- Java
- Stelle
- 3.1k
- Fork
- 1.6k
- Merge medio
- 3g 12h
- PR unite (30g)
- 33
Descrizione
@rdblue pointed me to which provides non-native implementations of compression codecs. It claims to be much faster than native wrappers that parquet uses. This Jira is to track the work needed for exploring using these codecs, getting benchmark results and making changes including not needing to pool compressors and decompressors anymore. Note that this doesn't include SNAPPY since Parquet already has its own non-hadoopy implementation for it.
**Reporter**: [Samarth Jain](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=samarthjain) / @samarthjain
**Assignee**: [Samarth Jain](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=samarthjain) / @samarthjain
#### PRs and other links:
- [GitHub Pull Request #671](https://github.com/apache/parquet-mr/pull/671)
**Note**: *This issue was originally created as [PARQUET-1643](https://issues.apache.org/jira/browse/PARQUET-1643). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Direzione di ricerca
Inizia esaminando airlift/aircompressor e il lavoro registrato nella pull request #671. Analizza le modifiche ai codec GZIP, LZ0 e LZ4 e i risultati dei benchmark, incluso se sia ancora necessario il pooling di compressori e decompressori. Il lavoro è considerato completato quando l’esplorazione, i benchmark e le modifiche correlate a Parquet sono completati e documentati.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- java
- Ambito
- data, performance
- Tipo di issue
- Funzionalità
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 15/100