apache / apache/parquet-java

Add HyperLogLog / CountMinSketch to parquet statistics

Ouverte
#1,469 1 commentaire 0 réactions 0 personnes assignées Voir sur GitHub
Component: Java Component: Parquet Priority: Minor Type: enhancement
Langage dominant
Java
Étoiles
3.1k
Forks
1.6k
Merge moyen
3 j 12 h
PR mergées (30 j)
33

Description

HLL and CMS for rowgroups could help with query planning (getting a sense of data skew) and with cheaply counting approximate distinct values. Both are commutative which means they can be combined across rowgroups (unlike an exact distinct count for example).

**Reporter**: [Alex Levenson](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=alexlevenson) / @isnotinvain

**Note**: *This issue was originally created as [PARQUET-42](https://issues.apache.org/jira/browse/PARQUET-42). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Commencez par examiner comment les statistiques Parquet sont représentées pour les rowgroups et comment ces statistiques sont utilisées lors de la planification des requêtes. L’issue ne fournit aucun point d’entrée de fichier ou de test ; le travail est considéré comme terminé lorsque les statistiques HLL et CMS pouvant être combinées entre les rowgroups sont prises en charge afin d’obtenir des comptages distincts approximatifs et d’estimer la dissymétrie des données.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
java
Domaine
data-engineering, databases
Type d'issue
Fonctionnalité
Difficulté
5/5
Temps estimé
Plus d'une semaine
Activité
À l'abandon
Clarté
Plutôt claire
Accessibilité débutants
35/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.