Add HyperLogLog / CountMinSketch to parquet statistics
- Langage dominant
- Java
- Étoiles
- 3.1k
- Forks
- 1.6k
- Merge moyen
- 3 j 12 h
- PR mergées (30 j)
- 33
Description
HLL and CMS for rowgroups could help with query planning (getting a sense of data skew) and with cheaply counting approximate distinct values. Both are commutative which means they can be combined across rowgroups (unlike an exact distinct count for example).
**Reporter**: [Alex Levenson](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=alexlevenson) / @isnotinvain
**Note**: *This issue was originally created as [PARQUET-42](https://issues.apache.org/jira/browse/PARQUET-42). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Piste de recherche
Commencez par examiner comment les statistiques Parquet sont représentées pour les rowgroups et comment ces statistiques sont utilisées lors de la planification des requêtes. L’issue ne fournit aucun point d’entrée de fichier ou de test ; le travail est considéré comme terminé lorsque les statistiques HLL et CMS pouvant être combinées entre les rowgroups sont prises en charge afin d’obtenir des comptages distincts approximatifs et d’estimer la dissymétrie des données.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- java
- Domaine
- data-engineering, databases
- Type d'issue
- Fonctionnalité
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Activité
- À l'abandon
- Clarté
- Plutôt claire
- Accessibilité débutants
- 35/100