apache / apache/parquet-java

Use airlift codecs for zstd

Ouverte
#2,468 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Component: Java Component: Parquet Priority: Major Type: enhancement
Langage dominant
Java
Étoiles
3.1k
Forks
1.6k
Merge moyen
3 j 12 h
PR mergées (30 j)
33

Description

Just like Parquet-1643, which will add lz4, lz0, gzip with airlift implementation, it would be great to add airlift support for zstd.

I synced with Samarth Jain the author of Parquet-1643 for this effort. He is addressing the comments of the PR  to get it merged. I have zstd with airlift implementation working on my end. I will create a PR for the zstd with airlift implementation after his PR is merged. 

**Reporter**: [Xinli Shang](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=shangx@uber.com) / @shangxinli
**Assignee**: [Xinli Shang](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=shangx@uber.com) / @shangxinli

**Note**: *This issue was originally created as [PARQUET-1812](https://issues.apache.org/jira/browse/PARQUET-1812). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Commencez par lire le travail Parquet-1643 référencé et le commit de PR lié, car cette issue dépend de la fusion de cette implémentation du airlift codec. La tâche est terminée lorsque la prise en charge de airlift pour zstd est ajoutée à parquet-java et que le pull request correspondant est fourni, comme décrit dans l’issue.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
java
Domaine
data-engineering
Type d'issue
Fonctionnalité
Difficulté
3/5
Temps estimé
1-2 jours
Activité
À l'abandon
Clarté
Plutôt claire
Accessibilité débutants
25/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.