lincc-frameworks / lincc-frameworks/python-project-template
Fail asv workflows when performance deteriorates
オープン
まだ誰も着手していません。
enhancement
new option
- 主要言語
- Jinja
- スター
- 85
- フォーク
- 16
- 平均マージ
- 6時間 18分
- マージ済み PR(30日)
- 1
説明
Fail the ASV workflows if at least one of benchmarks deteriorates above a certain threshold (e.g. 150% / 200%).
asv-main.yml:
- Execute
asv runwithout|| true, allowing the command to exit with a non-zero return code - Submit benchmarks and deploy dashboard on gh-pages, if the previous command succeeded or not
asv-pr.yml:
- Execute
asv continuouswithout|| true, allowing the command to exit with a non-zero return code - Output the performance comment on the PR if the comparison was successful or not
asv-nightly.yml
- Execute
asv continuouswithout|| true, allowing the command to exit with a non-zero return code - Write the commit hash to cache, if the previous if the comparison was successful or not
More information about "on failure" executions here.
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
調査の方向性
.github/workflows/asv-main.yml、asv-pr.yml、asv-nightly.yml から始め、それぞれが現在 asv run または asv continuous の失敗をどのように処理しているかを調査してください。要求されている submit、dashboard、PR comment、cache の各ステップを維持しながらワークフローの失敗条件を更新し、比較が失敗した場合でもワークフローがそれらのステップを引き続き実行することを確認してください。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- github-actions, python
- 領域
- ci-cd, devops, performance
- issue の種類
- 機能追加
- 難易度
- 3/5
- 見積もり時間
- 1〜2日
- 活発さ
- 停滞
- 明瞭さ
- 明確に書かれている
- 初心者へのやさしさ
- 48/100