lincc-frameworks / lincc-frameworks/python-project-template
Fail asv workflows when performance deteriorates
Ninguém assumiu esta issue ainda.
- Linguagem predominante
- Jinja
- Estrelas
- 85
- Forks
- 16
- Merge médio
- 6h 18min
- PRs com merge (30d)
- 1
Descrição
Fail the ASV workflows if at least one of benchmarks deteriorates above a certain threshold (e.g. 150% / 200%).
asv-main.yml:
- Execute
asv runwithout|| true, allowing the command to exit with a non-zero return code - Submit benchmarks and deploy dashboard on gh-pages, if the previous command succeeded or not
asv-pr.yml:
- Execute
asv continuouswithout|| true, allowing the command to exit with a non-zero return code - Output the performance comment on the PR if the comparison was successful or not
asv-nightly.yml
- Execute
asv continuouswithout|| true, allowing the command to exit with a non-zero return code - Write the commit hash to cache, if the previous if the comparison was successful or not
More information about "on failure" executions here.
Guia de contribuição
Nenhum guia de contribuição indexado para este repositório
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Direção de pesquisa
Comece por .github/workflows/asv-main.yml, asv-pr.yml e asv-nightly.yml e inspecione como cada um trata atualmente as falhas de asv run ou asv continuous. Atualize as condições de falha dos workflows preservando as etapas solicitadas de submit, dashboard, PR comment e cache; em seguida, verifique se os workflows ainda executam essas etapas quando as comparações falham.
Escrita pelo modelo de indexação a partir do texto da issue.
Avaliação
- Stack de tecnologia
- github-actions, python
- Domínio
- ci-cd, devops, performance
- Tipo de issue
- Funcionalidade
- Dificuldade
- 3/5
- Tempo estimado
- 1-2 dias
- Status de atividade
- Estagnada
- Clareza
- Claramente especificada
- Facilidade para iniciantes
- 48/100