more fine grained categorisation for tests
- Langage dominant
- Java
- Étoiles
- 3.1k
- Forks
- 1.4k
- Merge moyen
- 6 j 19 h
- PR mergées (30 j)
- 32
Description
as a tester, one would want a more fine grained categorisation than "smoke", "component", "integration" to be able to quickly test a PR against features it touches on.
##### ISSUE TYPE
* Improvement Request
* Enhancement Request
* Feature Idea
* Other : testing aid
##### COMPONENT NAME
~~~
Marvin
~~~
##### CLOUDSTACK VERSION
~~~
~~~
##### CONFIGURATION
##### OS / ENVIRONMENT
##### SUMMARY
when a PR is tested it is usually tested against a set of smoke tests in travis or a private cloud with s.moke tests and than maybe avery feature specific (often manual) test. A better categorisation would help in testing more related code and would allow for bypassing any tests that have no baring on the subject of the change.
A blueorangutan smoke test run takes anywhere between 8 and 15 hours and fails only once after the run, albeit with multiple reports. It would be helpful to run a smaller set of basic tests. if this set passes than a more high level batch could be choosen for a next step.
##### STEPS TO REPRODUCE
~~~
go-test smoke
go-test accounts-and-roles
go-test instance-groups
go-test ...
~~~
`go-test` could be any test infra structure like blueorangutan. It is used to illustrate the categorisation, not the test-infrastructure.
##### EXPECTED RESULTS
~~~
~~~
##### ACTUAL RESULTS
~~~
~~~
Guide de contribution
Ouvrir le guide de contribution
Piste de recherche
L’issue mentionne Travis, private-cloud smoke tests et blueorangutan ; commencez par examiner comment les catégories existantes smoke, component et integration sont définies et sélectionnées. Le travail est considéré comme terminé lorsqu’il propose des catégories plus fines prenant en charge des tests de PR ciblés, évitant les tests sans rapport et permettant des exécutions par étapes, d’un petit ensemble de base à une couverture plus large spécifique aux fonctionnalités.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- java
- Domaine
- testing-qa
- Type d'issue
- Fonctionnalité
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Activité
- Calme
- Clarté
- À clarifier
- Accessibilité débutants
- 35/100