apache / apache/cloudstack

more fine grained categorisation for tests

オープン
#4,370 コメント 6 件 リアクション 1 件 担当者 0 名 GitHub で見る
component:integration-test long-term-plan Severity:Major status:on-hold
主要言語
Java
スター
3.1k
フォーク
1.4k
平均マージ
6日 19時間
マージ済み PR(30日)
32

説明

as a tester, one would want a more fine grained categorisation than "smoke", "component", "integration" to be able to quickly test a PR against features it touches on.

##### ISSUE TYPE

* Improvement Request
* Enhancement Request
* Feature Idea
* Other : testing aid

##### COMPONENT NAME

~~~
Marvin
~~~

##### CLOUDSTACK VERSION

~~~

~~~

##### CONFIGURATION

##### OS / ENVIRONMENT

##### SUMMARY

when a PR is tested it is usually tested against a set of smoke tests in travis or a private cloud with s.moke tests and than maybe avery feature specific (often manual) test. A better categorisation would help in testing more related code and would allow for bypassing any tests that have no baring on the subject of the change.
A blueorangutan smoke test run takes anywhere between 8 and 15 hours and fails only once after the run, albeit with multiple reports. It would be helpful to run a smaller set of basic tests. if this set passes than a more high level batch could be choosen for a next step.

##### STEPS TO REPRODUCE

~~~
go-test smoke
go-test accounts-and-roles
go-test instance-groups
go-test ...
~~~

`go-test` could be any test infra structure like blueorangutan. It is used to illustrate the categorisation, not the test-infrastructure.

##### EXPECTED RESULTS

~~~

~~~

##### ACTUAL RESULTS

~~~

~~~

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

この issue では Travis、private-cloud smoke tests、blueorangutan について言及されています。まず、既存の smoke、component、integration カテゴリがどのように定義され、選択されているかを確認してください。完了条件は、対象を絞った PR テストをサポートし、無関係なテストを避け、小規模な基本セットからより広範な機能固有のカバレッジまで段階的に実行できる、より細かなカテゴリを提案することです。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
java
領域
testing-qa
issue の種類
機能追加
難易度
5/5
見積もり時間
1週間以上
活発さ
静か
明瞭さ
説明が足りない
初心者へのやさしさ
35/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。