apache / apache/cloudstack

more fine grained categorisation for tests

Ouverte
#4,370 6 commentaires 1 réaction 0 personnes assignées Voir sur GitHub
component:integration-test long-term-plan Severity:Major status:on-hold
Langage dominant
Java
Étoiles
3.1k
Forks
1.4k
Merge moyen
6 j 19 h
PR mergées (30 j)
32

Description

as a tester, one would want a more fine grained categorisation than "smoke", "component", "integration" to be able to quickly test a PR against features it touches on.

##### ISSUE TYPE

* Improvement Request
* Enhancement Request
* Feature Idea
* Other : testing aid

##### COMPONENT NAME

~~~
Marvin
~~~

##### CLOUDSTACK VERSION

~~~

~~~

##### CONFIGURATION

##### OS / ENVIRONMENT

##### SUMMARY

when a PR is tested it is usually tested against a set of smoke tests in travis or a private cloud with s.moke tests and than maybe avery feature specific (often manual) test. A better categorisation would help in testing more related code and would allow for bypassing any tests that have no baring on the subject of the change.
A blueorangutan smoke test run takes anywhere between 8 and 15 hours and fails only once after the run, albeit with multiple reports. It would be helpful to run a smaller set of basic tests. if this set passes than a more high level batch could be choosen for a next step.

##### STEPS TO REPRODUCE

~~~
go-test smoke
go-test accounts-and-roles
go-test instance-groups
go-test ...
~~~

`go-test` could be any test infra structure like blueorangutan. It is used to illustrate the categorisation, not the test-infrastructure.

##### EXPECTED RESULTS

~~~

~~~

##### ACTUAL RESULTS

~~~

~~~

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

L’issue mentionne Travis, private-cloud smoke tests et blueorangutan ; commencez par examiner comment les catégories existantes smoke, component et integration sont définies et sélectionnées. Le travail est considéré comme terminé lorsqu’il propose des catégories plus fines prenant en charge des tests de PR ciblés, évitant les tests sans rapport et permettant des exécutions par étapes, d’un petit ensemble de base à une couverture plus large spécifique aux fonctionnalités.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
java
Domaine
testing-qa
Type d'issue
Fonctionnalité
Difficulté
5/5
Temps estimé
Plus d'une semaine
Activité
Calme
Clarté
À clarifier
Accessibilité débutants
35/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.