lincc-frameworks / lincc-frameworks/python-project-template

Fail asv workflows when performance deteriorates

オープン
#252 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

enhancement new option
主要言語
Jinja
スター
85
フォーク
16
平均マージ
6時間 18分
マージ済み PR(30日)
1

説明

Fail the ASV workflows if at least one of benchmarks deteriorates above a certain threshold (e.g. 150% / 200%).

asv-main.yml:

  • Execute asv run without || true, allowing the command to exit with a non-zero return code
  • Submit benchmarks and deploy dashboard on gh-pages, if the previous command succeeded or not

asv-pr.yml:

  • Execute asv continuous without || true, allowing the command to exit with a non-zero return code
  • Output the performance comment on the PR if the comparison was successful or not

asv-nightly.yml

  • Execute asv continuous without || true, allowing the command to exit with a non-zero return code
  • Write the commit hash to cache, if the previous if the comparison was successful or not

More information about "on failure" executions here.

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

調査の方向性

.github/workflows/asv-main.yml、asv-pr.yml、asv-nightly.yml から始め、それぞれが現在 asv run または asv continuous の失敗をどのように処理しているかを調査してください。要求されている submit、dashboard、PR comment、cache の各ステップを維持しながらワークフローの失敗条件を更新し、比較が失敗した場合でもワークフローがそれらのステップを引き続き実行することを確認してください。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
github-actions, python
領域
ci-cd, devops, performance
issue の種類
機能追加
難易度
3/5
見積もり時間
1〜2日
活発さ
停滞
明瞭さ
明確に書かれている
初心者へのやさしさ
48/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。