Support a better encoding for Parquet Dictionary
- Langage dominant
- Java
- Étoiles
- 3.1k
- Forks
- 1.6k
- Merge moyen
- 3 j 12 h
- PR mergées (30 j)
- 33
Description
Currently Parquet is using Plain encoding for the dictionary, it should support a better encoding, such as BitPacking or DeltaBinaryPacking.
**Reporter**: [Dapeng Sun](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=dapengsun) / @sundapeng
**Note**: *This issue was originally created as [PARQUET-1060](https://issues.apache.org/jira/browse/PARQUET-1060). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Piste de recherche
Commencez par localiser l’implémentation de l’encodage par dictionnaire de Parquet et le chemin d’encodage Plain existant ; aucun fichier ni test n’est nommé dans l’issue. Comparez les options BitPacking et DeltaBinaryPacking prises en charge et déterminez comment les pages de dictionnaire les représentent. Le travail est considéré comme terminé lorsqu’un encodage amélioré sélectionné est correctement pris en charge et couvert par des tests pertinents.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- java
- Domaine
- data-engineering
- Type d'issue
- Fonctionnalité
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Activité
- À l'abandon
- Clarté
- À clarifier
- Accessibilité débutants
- 25/100