python / python/pyperformance

Allow calculating geometric mean of groups of benchmarks based on tags

Abierto
#208 3 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Lenguaje dominante
Python
Estrellas
1k
Forks
203
Merge medio
1 h 20 min
PR fusionados (30 d)
2

Descripción

[Moved from https://github.com/faster-cpython/ideas/discussions/395]

It's becoming obvious that:

  • The pyperformance suite needs more benchmarks that are more similar to real-world workloads, and we should lean into optimizing for these and using these to report progress.
  • Microbenchmarks of a particular feature are also useful and belong in the benchmark suite, but we shouldn't over-optimize for them or use them as a (misleading) indicator of overall progress.

It seems that one way to address this would be to lean into "tags" more in the pyperformance/pyperf ecosystem. pyperformance already allows for tags in each benchmark's pyproject.yaml.

I propose we:

  1. Output the tags for each benchmark in the benchmark results in the metadata dictionary.
  2. pyperf compare_to would then calculate the geometric mean for each subset of benchmarks for each tag found in the results, as well as "all" benchmarks (existing behavior). This could be behind a flag if backward compatibility matters.

Alternatives:

We could instead use the nested benchmark heirarchy, rather than tags. Personally, I think tags is easier to understand and more flexible (a benchmark could be associated with multiple tags).

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Línea de trabajo

Comienza rastreando cómo se representan las etiquetas de benchmark de pyperformance's pyproject.yaml en los resultados y metadatos de los benchmarks; después, inspecciona el flujo compare_to de pyperf. La tarea estará completada cuando las etiquetas estén expuestas en los metadatos y se calculen medias geométricas tanto para cada subconjunto de etiquetas como para todos los benchmarks, con el comportamiento de compatibilidad con versiones anteriores resuelto.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
python
Área
performance, tooling
Tipo de issue
Nueva funcionalidad
Dificultad
5/5
Tiempo estimado
Más de una semana
Estado de actividad
Estancado
Claridad
Bastante claro
Aptitud para principiantes
32/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.