lincc-frameworks / lincc-frameworks/python-project-template
Fail asv workflows when performance deteriorates
未关闭
还没有人认领这个 Issue。
enhancement
new option
- 主要语言
- Jinja
- 星标
- 85
- 派生
- 16
- 平均合并
- 6 小时 18 分钟
- 30 天内合并 PR
- 1
描述
Fail the ASV workflows if at least one of benchmarks deteriorates above a certain threshold (e.g. 150% / 200%).
asv-main.yml:
- Execute
asv runwithout|| true, allowing the command to exit with a non-zero return code - Submit benchmarks and deploy dashboard on gh-pages, if the previous command succeeded or not
asv-pr.yml:
- Execute
asv continuouswithout|| true, allowing the command to exit with a non-zero return code - Output the performance comment on the PR if the comparison was successful or not
asv-nightly.yml
- Execute
asv continuouswithout|| true, allowing the command to exit with a non-zero return code - Write the commit hash to cache, if the previous if the comparison was successful or not
More information about "on failure" executions here.
贡献指南
这个仓库没有索引到贡献指南
从这里开始
- 先读完整个 Issue,再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库,在一个分支上完成修改。
- 提交 Pull Request,并在描述里引用这个 Issue 编号。
调研方向
从 .github/workflows/asv-main.yml、asv-pr.yml 和 asv-nightly.yml 开始,检查每个文件当前如何处理 asv run 或 asv continuous 失败。更新工作流失败条件,同时保留所要求的 submit、dashboard、PR comment 和 cache 步骤,然后验证比较失败时工作流仍会执行这些步骤。
由索引模型根据 Issue 内容生成。
评估
- 技术栈
- github-actions, python
- 领域
- ci-cd, devops, performance
- Issue 类型
- 功能
- 难度
- 3/5
- 预计耗时
- 1-2 天
- 活跃度
- 停滞
- 描述清晰度
- 描述清楚
- 新手友好度
- 48/100