Blosc / Blosc/python-blosc2

[BENCH] Real-world query performance comparison

Ouverte
#652 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
documentation help wanted
Langage dominant
Python
Étoiles
211
Forks
58
Merge moyen
1 j 17 h
PR mergées (30 j)
6

Description

`examples/ctable/real_world.py` exists but is a fairly raw script. There is no self-contained example that clearly shows what performance gain SUMMARY indexes provide over a full scan, or how block size affects that gain — which is the most common question users will have after enabling auto-indexing.

Suggested work: Write `bench/ctable/summary_index_perf.py` that:
- Generates a synthetic CTable with a few million rows and numeric columns
- Runs the same where() query three ways: no index, SUMMARY at chunk granularity, SUMMARY at block granularity
- Prints a clean results table (rows scanned, time, speedup)
- Includes comments explaining the trade-offs

Ideally, it should work without any external dataset so it can be run immediately after install, but using an accessible dataset is also an option.

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

Lisez d’abord examples/ctable/real_world.py, puis créez bench/ctable/summary_index_perf.py. Exécutez le benchmark autonome après avoir installé le projet et comparez la même requête where() sans index, SUMMARY à la granularité des chunks et SUMMARY à la granularité des blocs. Le travail est terminé lorsqu’un tableau clair présente le nombre de lignes analysées, le temps et l’accélération, avec des commentaires expliquant les compromis.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
python
Domaine
data, performance
Type d'issue
Fonctionnalité
Difficulté
3/5
Temps estimé
1-2 jours
Activité
Calme
Clarté
Plutôt claire
Accessibilité débutants
68/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.