allure-framework / allure-framework/allure-python
[allure-behave] Support @flaky tag for scenarios (to mark them as flaky in the allure report)
- Ngôn ngữ chính
- Python
- Star
- 814
- Fork
- 260
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
#### I'm submitting a ...
- [ ] bug report
- [x] feature request
- [ ] support request => Please do not submit support request here, see note at the top of this template.
#### What is the current behavior?
In an allure report based on the output of the `allure-behave` formatter, a `@flaky` tag is simply shown in the list of all scenario tags.
But the scenario is not marked as flaky or special in any way.
#### If the current behavior is a bug, please provide the steps to reproduce and if possible a minimal demo of the problem
Use the allure-behave formatter for testruns with scenarios containing a `@flaky` tag and view the corresponding allure test report.
#### What is the expected behavior?
It would be nice if a scenario tagged as flaky was marked as flaky in the json file produced by the `allure-behave` formatter (allure's flaky attribute set to `True`) - and thus shown as flaky test in a resulting allure test report.
#### What is the motivation / use case for changing the behavior?
Scenarios tagged as flaky could be more easily spotted in the overall allure test report.
Allure does support marking tests as flaky:
https://docs.qameta.io/allure/#_flaky_tests
Tagging a scenario or feature as flaky is apparently already supported by `allure-cucumber-jvm`:
https://docs.qameta.io/allure/#_test_markers
#### Please tell us about your environment:
- allure-behave 2.5.1
- allure-python-commons 2.5.1
- allure 2.3-SNAPSHOT
#### Other information
[//]: # (
. e.g. detailed explanation, stacktraces, related issues, suggestions
. how to fix, links for us to have more context, eg. Stackoverflow, Gitter etc
)
Hướng dẫn đóng góp
Hướng nghiên cứu
Bắt đầu từ formatter allure-behave và theo dõi cách các tag của scenario được chuyển đổi thành kết quả JSON. Chạy output của formatter cho một scenario có @flaky, sau đó xác minh rằng JSON được tạo đặt thuộc tính flaky của Allure và report kết quả đánh dấu scenario là flaky.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- python
- Lĩnh vực
- testing
- Loại issue
- Tính năng
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 45/100