lincc-frameworks / lincc-frameworks/python-project-template

Fail asv workflows when performance deteriorates

Abierto
#252 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

enhancement new option
Lenguaje dominante
Jinja
Estrellas
85
Forks
16
Merge medio
6 h 18 min
PR fusionados (30 d)
1

Descripción

Fail the ASV workflows if at least one of benchmarks deteriorates above a certain threshold (e.g. 150% / 200%).

**asv-main.yml**:
- Execute `asv run` without `|| true`, allowing the command to exit with a non-zero return code
- Submit benchmarks and deploy dashboard on gh-pages, if the previous command succeeded or not

**asv-pr.yml**:
- Execute `asv continuous` without `|| true`, allowing the command to exit with a non-zero return code
- Output the performance comment on the PR if the comparison was successful or not

**asv-nightly.yml**
- Execute `asv continuous` without `|| true`, allowing the command to exit with a non-zero return code
- Write the commit hash to cache, if the previous if the comparison was successful or not

More information about "on failure" executions [here](https://docs.github.com/en/actions/learn-github-actions/expressions#status-check-functions).

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Línea de trabajo

Comience con .github/workflows/asv-main.yml, asv-pr.yml y asv-nightly.yml, e inspeccione cómo gestiona actualmente cada uno los errores de asv run o asv continuous. Actualice las condiciones de error de los workflows preservando los pasos solicitados de submit, dashboard, PR comment y cache; después, verifique que los workflows sigan ejecutando esos pasos cuando fallen las comparaciones.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
github-actions, python
Área
ci-cd, devops, performance
Tipo de issue
Nueva funcionalidad
Dificultad
3/5
Tiempo estimado
1-2 días
Estado de actividad
Estancado
Claridad
Bien especificado
Aptitud para principiantes
48/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.