apache / apache/parquet-java

Provide pluggable APIs to support user customized compression codec

Ouverte
#2,463 1 commentaire 0 réactions 0 personnes assignées Voir sur GitHub
Component: Java Component: Parquet Priority: Minor Type: enhancement
Langage dominant
Java
Étoiles
3.1k
Forks
1.6k
Merge moyen
3 j 12 h
PR mergées (30 j)
33

Description

_In demand of better performance, quite some end users want to leverage accelerators (e.g. FPGA, Intel QAT) to offload compression computation. Parquet, as a well adopted data format, should allow compression codec implementation customization via a pluggable mechanism for those standard compression codec. This JIRA is intended for introducing this set of APIs._

**Reporter**: [XinDong](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=XinDong) / @XinDongSh
#### PRs and other links:
- [Pull Request](https://github.com/apache/parquet-mr/pull/762)

**Note**: *This issue was originally created as [PARQUET-1804](https://issues.apache.org/jira/browse/PARQUET-1804). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Commencez par examiner Pull Request 762 et la documentation de migration associée pour le problème précédent PARQUET-1804. Utilisez l'énoncé du problème pour déterminer la portée des pluggable APIs prenant en charge des implémentations personnalisées de codecs de compression standard ; le travail est considéré comme terminé lorsque l'ensemble d'API demandé est introduit et prend en charge des implémentations de codecs reposant sur des accélérateurs.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
java
Domaine
backend-api-design
Type d'issue
Fonctionnalité
Difficulté
5/5
Temps estimé
Plus d'une semaine
Activité
À l'abandon
Clarté
À clarifier
Accessibilité débutants
20/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.