apache / apache/cloudstack

more fine grained categorisation for tests

Offen
#4,370 6 Kommentare 1 Reaktion 0 zugewiesene Personen Auf GitHub ansehen
component:integration-test long-term-plan Severity:Major status:on-hold
Vorherrschende Sprache
Java
Sterne
3.1k
Forks
1.4k
Ø Merge
6 T. 19 Std.
Gemergte PRs (30 T.)
32

Beschreibung

as a tester, one would want a more fine grained categorisation than "smoke", "component", "integration" to be able to quickly test a PR against features it touches on.

##### ISSUE TYPE

* Improvement Request
* Enhancement Request
* Feature Idea
* Other : testing aid

##### COMPONENT NAME

~~~
Marvin
~~~

##### CLOUDSTACK VERSION

~~~

~~~

##### CONFIGURATION

##### OS / ENVIRONMENT

##### SUMMARY

when a PR is tested it is usually tested against a set of smoke tests in travis or a private cloud with s.moke tests and than maybe avery feature specific (often manual) test. A better categorisation would help in testing more related code and would allow for bypassing any tests that have no baring on the subject of the change.
A blueorangutan smoke test run takes anywhere between 8 and 15 hours and fails only once after the run, albeit with multiple reports. It would be helpful to run a smaller set of basic tests. if this set passes than a more high level batch could be choosen for a next step.

##### STEPS TO REPRODUCE

~~~
go-test smoke
go-test accounts-and-roles
go-test instance-groups
go-test ...
~~~

`go-test` could be any test infra structure like blueorangutan. It is used to illustrate the categorisation, not the test-infrastructure.

##### EXPECTED RESULTS

~~~

~~~

##### ACTUAL RESULTS

~~~

~~~

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Das Issue erwähnt Travis, private-cloud smoke tests und blueorangutan; beginne mit einer Überprüfung, wie die bestehenden Kategorien smoke, component und integration definiert und ausgewählt werden. Als abgeschlossen gilt der Vorschlag feiner abgestufter Kategorien, die gezielte PR-Tests unterstützen, nicht zugehörige Tests vermeiden und gestaffelte Ausführungen von einer kleinen grundlegenden Menge bis hin zu einer umfassenderen featurespezifischen Abdeckung ermöglichen.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
testing-qa
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Ruhig
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.