lincc-frameworks / lincc-frameworks/python-project-template

Fail asv workflows when performance deteriorates

Offen
#252 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

enhancement new option
Vorherrschende Sprache
Jinja
Sterne
85
Forks
16
Ø Merge
6 Std. 18 Min.
Gemergte PRs (30 T.)
1

Beschreibung

Fail the ASV workflows if at least one of benchmarks deteriorates above a certain threshold (e.g. 150% / 200%).

**asv-main.yml**:
- Execute `asv run` without `|| true`, allowing the command to exit with a non-zero return code
- Submit benchmarks and deploy dashboard on gh-pages, if the previous command succeeded or not

**asv-pr.yml**:
- Execute `asv continuous` without `|| true`, allowing the command to exit with a non-zero return code
- Output the performance comment on the PR if the comparison was successful or not

**asv-nightly.yml**
- Execute `asv continuous` without `|| true`, allowing the command to exit with a non-zero return code
- Write the commit hash to cache, if the previous if the comparison was successful or not

More information about "on failure" executions [here](https://docs.github.com/en/actions/learn-github-actions/expressions#status-check-functions).

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Erste Schritte

  1. Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
  3. Forke das Repository und arbeite in einem Branch.
  4. Öffne einen Pull Request, der die Issue-Nummer nennt.

Rechercherichtung

Beginnen Sie mit .github/workflows/asv-main.yml, asv-pr.yml und asv-nightly.yml und prüfen Sie, wie jede Datei derzeit Fehler bei asv run oder asv continuous behandelt. Aktualisieren Sie die Fehlerbedingungen der Workflows, während Sie die angeforderten submit-, dashboard-, PR comment- und cache-Schritte beibehalten, und überprüfen Sie anschließend, dass die Workflows diese Schritte weiterhin ausführen, wenn Vergleiche fehlschlagen.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
github-actions, python
Bereich
ci-cd, devops, performance
Issue-Typ
Feature
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Veraltet
Klarheit
Klar beschrieben
Anfängerfreundlichkeit
48/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.