lincc-frameworks / lincc-frameworks/python-project-template
Fail asv workflows when performance deteriorates
Nadie ha tomado este issue todavía.
- Lenguaje dominante
- Jinja
- Estrellas
- 85
- Forks
- 16
- Merge medio
- 6 h 18 min
- PR fusionados (30 d)
- 1
Descripción
Fail the ASV workflows if at least one of benchmarks deteriorates above a certain threshold (e.g. 150% / 200%).
**asv-main.yml**:
- Execute `asv run` without `|| true`, allowing the command to exit with a non-zero return code
- Submit benchmarks and deploy dashboard on gh-pages, if the previous command succeeded or not
**asv-pr.yml**:
- Execute `asv continuous` without `|| true`, allowing the command to exit with a non-zero return code
- Output the performance comment on the PR if the comparison was successful or not
**asv-nightly.yml**
- Execute `asv continuous` without `|| true`, allowing the command to exit with a non-zero return code
- Write the commit hash to cache, if the previous if the comparison was successful or not
More information about "on failure" executions [here](https://docs.github.com/en/actions/learn-github-actions/expressions#status-check-functions).
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Línea de trabajo
Comience con .github/workflows/asv-main.yml, asv-pr.yml y asv-nightly.yml, e inspeccione cómo gestiona actualmente cada uno los errores de asv run o asv continuous. Actualice las condiciones de error de los workflows preservando los pasos solicitados de submit, dashboard, PR comment y cache; después, verifique que los workflows sigan ejecutando esos pasos cuando fallen las comparaciones.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- github-actions, python
- Área
- ci-cd, devops, performance
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Estado de actividad
- Estancado
- Claridad
- Bien especificado
- Aptitud para principiantes
- 48/100