more fine grained categorisation for tests
- Lingua principale
- Java
- Stelle
- 3.1k
- Fork
- 1.4k
- Merge medio
- 6g 19h
- PR unite (30g)
- 32
Descrizione
as a tester, one would want a more fine grained categorisation than "smoke", "component", "integration" to be able to quickly test a PR against features it touches on.
##### ISSUE TYPE
* Improvement Request
* Enhancement Request
* Feature Idea
* Other : testing aid
##### COMPONENT NAME
~~~
Marvin
~~~
##### CLOUDSTACK VERSION
~~~
~~~
##### CONFIGURATION
##### OS / ENVIRONMENT
##### SUMMARY
when a PR is tested it is usually tested against a set of smoke tests in travis or a private cloud with s.moke tests and than maybe avery feature specific (often manual) test. A better categorisation would help in testing more related code and would allow for bypassing any tests that have no baring on the subject of the change.
A blueorangutan smoke test run takes anywhere between 8 and 15 hours and fails only once after the run, albeit with multiple reports. It would be helpful to run a smaller set of basic tests. if this set passes than a more high level batch could be choosen for a next step.
##### STEPS TO REPRODUCE
~~~
go-test smoke
go-test accounts-and-roles
go-test instance-groups
go-test ...
~~~
`go-test` could be any test infra structure like blueorangutan. It is used to illustrate the categorisation, not the test-infrastructure.
##### EXPECTED RESULTS
~~~
~~~
##### ACTUAL RESULTS
~~~
~~~
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
L’issue menziona Travis, private-cloud smoke tests e blueorangutan; inizia esaminando come sono definite e selezionate le categorie esistenti smoke, component e integration. Il lavoro è completato quando propone categorie più granulari che supportino test PR mirati, evitino test non correlati e consentano esecuzioni per fasi, da un piccolo insieme di base fino a una copertura più ampia specifica per funzionalità.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- java
- Ambito
- testing-qa
- Tipo di issue
- Funzionalità
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Tranquilla
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 35/100