Blosc / Blosc/python-blosc2

[BENCH] Real-world query performance comparison

Abierto
#652 0 comentarios 0 reacciones 0 asignados Ver en GitHub
documentation help wanted
Lenguaje dominante
Python
Estrellas
211
Forks
58
Merge medio
1 d 17 h
PR fusionados (30 d)
6

Descripción

`examples/ctable/real_world.py` exists but is a fairly raw script. There is no self-contained example that clearly shows what performance gain SUMMARY indexes provide over a full scan, or how block size affects that gain — which is the most common question users will have after enabling auto-indexing.

Suggested work: Write `bench/ctable/summary_index_perf.py` that:
- Generates a synthetic CTable with a few million rows and numeric columns
- Runs the same where() query three ways: no index, SUMMARY at chunk granularity, SUMMARY at block granularity
- Prints a clean results table (rows scanned, time, speedup)
- Includes comments explaining the trade-offs

Ideally, it should work without any external dataset so it can be run immediately after install, but using an accessible dataset is also an option.

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

Lee primero examples/ctable/real_world.py y luego crea bench/ctable/summary_index_perf.py. Ejecuta el benchmark autocontenido después de instalar el proyecto y compara la misma consulta where() sin índice, SUMMARY con granularidad de chunk y SUMMARY con granularidad de bloque. Se considera terminado cuando una tabla clara muestra las filas escaneadas, el tiempo y la aceleración, con comentarios que expliquen las ventajas y desventajas.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
python
Área
data, performance
Tipo de issue
Nueva funcionalidad
Dificultad
3/5
Tiempo estimado
1-2 días
Estado de actividad
Tranquilo
Claridad
Bastante claro
Aptitud para principiantes
68/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.