allure-framework / allure-framework/allure-python

In Scenario Outline of Behave, Allure reports include Skipped test even when uisng --no-skipped or show_skipped = false

オープン
#432 コメント 3 件 リアクション 0 件 担当者 0 名 GitHub で見る
bug theme:behave
主要言語
Python
スター
814
フォーク
260
PR マージ指標
30日以内にマージされた PR はありません

説明

I'm submitting a ...
- [.] bug report
- [ ] feature request

What is the current behavior?
In **Scenario Outline** of Behave, Skipped issues appear in Allure Results even if Skipped --no-skipped flag is set or behave.ini is set to show_skipped = false

Steps:
1) I have written 2 scenario outlines. Each scenario outline loops through 4 kits(C, Java, .Net, .Net core) for 2 different examples.
2) In first scenario outline, after first scenario ie, C, I have skipped remaining 3 scenarios of Java, .Net, .Net core)
3) When it rolls around second scenario outline, in Allure reports I can see the skipped scenario results of first scenario outline which should not be (highlighted with yellow color in one of the attachments).
4) behave is skipped the scenarios properly
![tests feature](https://user-images.githubusercontent.com/55695053/65425521-c913f880-de2b-11e9-89b5-4f55adf2ec03.JPG)
![StepDefs](https://user-images.githubusercontent.com/55695053/65424676-bd273700-de29-11e9-8291-d869664a94a4.JPG)
![allure report snap 1](https://user-images.githubusercontent.com/55695053/65424677-bd273700-de29-11e9-8572-970786ec1efc.JPG)
![Behave_ouput_1](https://user-images.githubusercontent.com/55695053/65424678-bdbfcd80-de29-11e9-9ba9-938a424ccacf.JPG)
![Behave_ouput_2](https://user-images.githubusercontent.com/55695053/65424679-bdbfcd80-de29-11e9-931b-83b3d8145406.JPG)

What is the expected behavior?
The skipped scenario results of previous scenario outline should not appear in next scenario outline results

Please tell us about your environment:
- Allure-version: allure-behave@2.8.5
- Test framework: behave@1.2.6

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

まず、2つの Scenario Outline と --no-skipped または show_skipped = false の設定を使用して、behave@1.2.6 と allure-behave@2.8.5 で報告を再現します。生成された Allure results を調べ、最初の outline のスキップされた例を、これらのスキップされたシナリオが表示されない想定レポートと比較します。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
python
領域
testing-qa
issue の種類
バグ
難易度
3/5
見積もり時間
1〜2日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
35/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。