benchmark-action / benchmark-action/github-action-benchmark
Concerns about reiability of GA
- Lingua principale
- TypeScript
- Stelle
- 1.3k
- Fork
- 183
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
We've been [observing](https://github.com/clap-rs/clap/pull/1755) large fluctuation in benchmark results on essentially empty commits. It's apparently because GitHub Actions runs benches on different machines (come to think of it, it's sensible) with different load score.
It doesn't look like GA should be used for benchmarking to me.
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Inizia esaminando la pull request collegata di clap-rs/clap e il rapporto sulla variazione dei benchmark tra le macchine GitHub Actions. Un contributo richiederebbe un ambito definito e criteri di accettazione espliciti per l'affidabilità dei benchmark; il payload non indica alcun file del repository né alcun test.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- github-actions
- Ambito
- ci-cd, performance
- Tipo di issue
- Bug
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 25/100