allure-framework / allure-framework/allure-python

[allure-behave] Support @flaky tag for scenarios (to mark them as flaky in the allure report)

Đang mở
#305 2 bình luận 0 reaction 0 người được giao Xem trên GitHub
task:new feature theme:behave
Ngôn ngữ chính
Python
Star
814
Fork
260
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Mô tả

#### I'm submitting a ...
- [ ] bug report
- [x] feature request
- [ ] support request => Please do not submit support request here, see note at the top of this template.

#### What is the current behavior?
In an allure report based on the output of the `allure-behave` formatter, a `@flaky` tag is simply shown in the list of all scenario tags.
But the scenario is not marked as flaky or special in any way.

#### If the current behavior is a bug, please provide the steps to reproduce and if possible a minimal demo of the problem
Use the allure-behave formatter for testruns with scenarios containing a `@flaky` tag and view the corresponding allure test report.

#### What is the expected behavior?
It would be nice if a scenario tagged as flaky was marked as flaky in the json file produced by the `allure-behave` formatter (allure's flaky attribute set to `True`) - and thus shown as flaky test in a resulting allure test report.

#### What is the motivation / use case for changing the behavior?
Scenarios tagged as flaky could be more easily spotted in the overall allure test report.

Allure does support marking tests as flaky:
https://docs.qameta.io/allure/#_flaky_tests

Tagging a scenario or feature as flaky is apparently already supported by `allure-cucumber-jvm`:
https://docs.qameta.io/allure/#_test_markers

#### Please tell us about your environment:

- allure-behave 2.5.1
- allure-python-commons 2.5.1
- allure 2.3-SNAPSHOT

#### Other information

[//]: # (
. e.g. detailed explanation, stacktraces, related issues, suggestions
. how to fix, links for us to have more context, eg. Stackoverflow, Gitter etc
)

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Bắt đầu từ formatter allure-behave và theo dõi cách các tag của scenario được chuyển đổi thành kết quả JSON. Chạy output của formatter cho một scenario có @flaky, sau đó xác minh rằng JSON được tạo đặt thuộc tính flaky của Allure và report kết quả đánh dấu scenario là flaky.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
python
Lĩnh vực
testing
Loại issue
Tính năng
Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
45/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.