benchmark-action / benchmark-action/github-action-benchmark

Concerns about reiability of GA

Aperta
#21 1 commento 3 reazioni 0 assegnatari Vedi su GitHub
question
Lingua principale
TypeScript
Stelle
1.3k
Fork
183
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

We've been [observing](https://github.com/clap-rs/clap/pull/1755) large fluctuation in benchmark results on essentially empty commits. It's apparently because GitHub Actions runs benches on different machines (come to think of it, it's sensible) with different load score.

It doesn't look like GA should be used for benchmarking to me.

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia esaminando la pull request collegata di clap-rs/clap e il rapporto sulla variazione dei benchmark tra le macchine GitHub Actions. Un contributo richiederebbe un ambito definito e criteri di accettazione espliciti per l'affidabilità dei benchmark; il payload non indica alcun file del repository né alcun test.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
github-actions
Ambito
ci-cd, performance
Tipo di issue
Bug
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
25/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.