apache / apache/cloudstack

more fine grained categorisation for tests

Đang mở
#4,370 6 bình luận 1 reaction 0 người được giao Xem trên GitHub
component:integration-test long-term-plan Severity:Major status:on-hold
Ngôn ngữ chính
Java
Star
3.1k
Fork
1.4k
Merge trung bình
6 ngày 19 giờ
Pull request đã merge (30 ngày)
32

Mô tả

as a tester, one would want a more fine grained categorisation than "smoke", "component", "integration" to be able to quickly test a PR against features it touches on.

##### ISSUE TYPE

* Improvement Request
* Enhancement Request
* Feature Idea
* Other : testing aid

##### COMPONENT NAME

~~~
Marvin
~~~

##### CLOUDSTACK VERSION

~~~

~~~

##### CONFIGURATION

##### OS / ENVIRONMENT

##### SUMMARY

when a PR is tested it is usually tested against a set of smoke tests in travis or a private cloud with s.moke tests and than maybe avery feature specific (often manual) test. A better categorisation would help in testing more related code and would allow for bypassing any tests that have no baring on the subject of the change.
A blueorangutan smoke test run takes anywhere between 8 and 15 hours and fails only once after the run, albeit with multiple reports. It would be helpful to run a smaller set of basic tests. if this set passes than a more high level batch could be choosen for a next step.

##### STEPS TO REPRODUCE

~~~
go-test smoke
go-test accounts-and-roles
go-test instance-groups
go-test ...
~~~

`go-test` could be any test infra structure like blueorangutan. It is used to illustrate the categorisation, not the test-infrastructure.

##### EXPECTED RESULTS

~~~

~~~

##### ACTUAL RESULTS

~~~

~~~

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Issue đề cập đến Travis, private-cloud smoke tests và blueorangutan; trước tiên hãy xem xét cách các category hiện có là smoke, component và integration được định nghĩa và lựa chọn. Hoàn thành có nghĩa là đề xuất các category chi tiết hơn, hỗ trợ kiểm thử PR có mục tiêu, tránh các test không liên quan và cho phép chạy theo từng giai đoạn, từ một bộ cơ bản nhỏ đến phạm vi bao phủ rộng hơn theo từng tính năng.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
java
Lĩnh vực
testing-qa
Loại issue
Tính năng
Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức độ hoạt động
Ít trao đổi
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.