apache / apache/parquet-java

Use airlift non-native implementations for GZIP, LZ0 and LZ4 codecs

Ouverte
#2,359 1 commentaire 0 réactions 0 personnes assignées Voir sur GitHub
Component: Parquet Priority: Major Type: enhancement
Langage dominant
Java
Étoiles
3.1k
Forks
1.6k
Merge moyen
3 j 12 h
PR mergées (30 j)
33

Description

@rdblue  pointed me to  which provides non-native implementations of compression codecs. It claims to be much faster than native wrappers that parquet uses. This Jira is to track the work needed for exploring using these codecs, getting benchmark results and making changes including not needing to pool compressors and decompressors anymore. Note that this doesn't include SNAPPY since Parquet already has its own non-hadoopy implementation for it. 

**Reporter**: [Samarth Jain](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=samarthjain) / @samarthjain
**Assignee**: [Samarth Jain](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=samarthjain) / @samarthjain
#### PRs and other links:
- [GitHub Pull Request #671](https://github.com/apache/parquet-mr/pull/671)

**Note**: *This issue was originally created as [PARQUET-1643](https://issues.apache.org/jira/browse/PARQUET-1643). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Commencez par examiner airlift/aircompressor et le travail consigné dans la pull request #671. Étudiez les modifications des codecs GZIP, LZ0 et LZ4 ainsi que les résultats des benchmarks, notamment pour déterminer si la mise en pool des compresseurs et des décompresseurs est toujours nécessaire. Le travail est considéré comme terminé lorsque l’exploration, les benchmarks et les modifications Parquet associées sont terminés et documentés.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
java
Domaine
data, performance
Type d'issue
Fonctionnalité
Difficulté
4/5
Temps estimé
3-5 jours
Activité
À l'abandon
Clarté
À clarifier
Accessibilité débutants
15/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.