lincc-frameworks / lincc-frameworks/python-project-template

Fail asv workflows when performance deteriorates

Aberta
#252 0 comentários 0 reações 0 responsáveis Ver no GitHub

Ninguém assumiu esta issue ainda.

enhancement new option
Linguagem predominante
Jinja
Estrelas
85
Forks
16
Merge médio
6h 18min
PRs com merge (30d)
1

Descrição

Fail the ASV workflows if at least one of benchmarks deteriorates above a certain threshold (e.g. 150% / 200%).

asv-main.yml:

  • Execute asv run without || true, allowing the command to exit with a non-zero return code
  • Submit benchmarks and deploy dashboard on gh-pages, if the previous command succeeded or not

asv-pr.yml:

  • Execute asv continuous without || true, allowing the command to exit with a non-zero return code
  • Output the performance comment on the PR if the comparison was successful or not

asv-nightly.yml

  • Execute asv continuous without || true, allowing the command to exit with a non-zero return code
  • Write the commit hash to cache, if the previous if the comparison was successful or not

More information about "on failure" executions here.

Guia de contribuição

Nenhum guia de contribuição indexado para este repositório

Primeiros passos

  1. Leia a issue inteira e depois o guia de contribuição do projeto.
  2. Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
  3. Faça um fork do repositório e trabalhe em uma branch.
  4. Abra um pull request que referencie o número da issue.

Direção de pesquisa

Comece por .github/workflows/asv-main.yml, asv-pr.yml e asv-nightly.yml e inspecione como cada um trata atualmente as falhas de asv run ou asv continuous. Atualize as condições de falha dos workflows preservando as etapas solicitadas de submit, dashboard, PR comment e cache; em seguida, verifique se os workflows ainda executam essas etapas quando as comparações falham.

Escrita pelo modelo de indexação a partir do texto da issue.

Avaliação

Stack de tecnologia
github-actions, python
Domínio
ci-cd, devops, performance
Tipo de issue
Funcionalidade
Dificuldade
3/5
Tempo estimado
1-2 dias
Status de atividade
Estagnada
Clareza
Claramente especificada
Facilidade para iniciantes
48/100

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.