allure-framework / allure-framework/allure-python

In Scenario Outline of Behave, Allure reports include Skipped test even when uisng --no-skipped or show_skipped = false

Đang mở
#432 3 bình luận 0 reaction 0 người được giao Xem trên GitHub
bug theme:behave
Ngôn ngữ chính
Python
Star
815
Fork
260
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Mô tả

I'm submitting a ...
- [.] bug report
- [ ] feature request

What is the current behavior?
In **Scenario Outline** of Behave, Skipped issues appear in Allure Results even if Skipped --no-skipped flag is set or behave.ini is set to show_skipped = false

Steps:
1) I have written 2 scenario outlines. Each scenario outline loops through 4 kits(C, Java, .Net, .Net core) for 2 different examples.
2) In first scenario outline, after first scenario ie, C, I have skipped remaining 3 scenarios of Java, .Net, .Net core)
3) When it rolls around second scenario outline, in Allure reports I can see the skipped scenario results of first scenario outline which should not be (highlighted with yellow color in one of the attachments).
4) behave is skipped the scenarios properly
![tests feature](https://user-images.githubusercontent.com/55695053/65425521-c913f880-de2b-11e9-89b5-4f55adf2ec03.JPG)
![StepDefs](https://user-images.githubusercontent.com/55695053/65424676-bd273700-de29-11e9-8291-d869664a94a4.JPG)
![allure report snap 1](https://user-images.githubusercontent.com/55695053/65424677-bd273700-de29-11e9-8572-970786ec1efc.JPG)
![Behave_ouput_1](https://user-images.githubusercontent.com/55695053/65424678-bdbfcd80-de29-11e9-9ba9-938a424ccacf.JPG)
![Behave_ouput_2](https://user-images.githubusercontent.com/55695053/65424679-bdbfcd80-de29-11e9-931b-83b3d8145406.JPG)

What is the expected behavior?
The skipped scenario results of previous scenario outline should not appear in next scenario outline results

Please tell us about your environment:
- Allure-version: allure-behave@2.8.5
- Test framework: behave@1.2.6

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Bắt đầu bằng cách tái hiện báo cáo với behave@1.2.6 và allure-behave@2.8.5, sử dụng hai Scenario Outline và thiết lập --no-skipped hoặc show_skipped = false. Kiểm tra các kết quả Allure được tạo ra để so sánh các ví dụ bị bỏ qua từ outline đầu tiên với báo cáo mong đợi, trong đó các scenario bị bỏ qua đó không xuất hiện.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
python
Lĩnh vực
testing-qa
Loại issue
Lỗi
Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.