lincc-frameworks / lincc-frameworks/python-project-template

Fail asv workflows when performance deteriorates

Ouverte
#252 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

enhancement new option
Langage dominant
Jinja
Étoiles
85
Forks
16
Merge moyen
6 h 18 min
PR mergées (30 j)
1

Description

Fail the ASV workflows if at least one of benchmarks deteriorates above a certain threshold (e.g. 150% / 200%).

asv-main.yml:

  • Execute asv run without || true, allowing the command to exit with a non-zero return code
  • Submit benchmarks and deploy dashboard on gh-pages, if the previous command succeeded or not

asv-pr.yml:

  • Execute asv continuous without || true, allowing the command to exit with a non-zero return code
  • Output the performance comment on the PR if the comparison was successful or not

asv-nightly.yml

  • Execute asv continuous without || true, allowing the command to exit with a non-zero return code
  • Write the commit hash to cache, if the previous if the comparison was successful or not

More information about "on failure" executions here.

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Piste de recherche

Commencez par .github/workflows/asv-main.yml, asv-pr.yml et asv-nightly.yml, puis examinez comment chacun gère actuellement les échecs de asv run ou asv continuous. Mettez à jour les conditions d’échec des workflows tout en conservant les étapes submit, dashboard, PR comment et cache demandées, puis vérifiez que les workflows exécutent toujours ces étapes lorsque les comparaisons échouent.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
github-actions, python
Domaine
ci-cd, devops, performance
Type d'issue
Fonctionnalité
Difficulté
3/5
Temps estimé
1-2 jours
Activité
À l'abandon
Clarté
Clairement spécifiée
Accessibilité débutants
48/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.