allure-framework / allure-framework/allure-python

In Scenario Outline of Behave, Allure reports include Skipped test even when uisng --no-skipped or show_skipped = false

Ouverte
#432 3 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
bug theme:behave
Langage dominant
Python
Étoiles
814
Forks
260
Métriques de merge des PR
Aucune PR mergée en 30 j

Description

I'm submitting a ...
- [.] bug report
- [ ] feature request

What is the current behavior?
In **Scenario Outline** of Behave, Skipped issues appear in Allure Results even if Skipped --no-skipped flag is set or behave.ini is set to show_skipped = false

Steps:
1) I have written 2 scenario outlines. Each scenario outline loops through 4 kits(C, Java, .Net, .Net core) for 2 different examples.
2) In first scenario outline, after first scenario ie, C, I have skipped remaining 3 scenarios of Java, .Net, .Net core)
3) When it rolls around second scenario outline, in Allure reports I can see the skipped scenario results of first scenario outline which should not be (highlighted with yellow color in one of the attachments).
4) behave is skipped the scenarios properly
![tests feature](https://user-images.githubusercontent.com/55695053/65425521-c913f880-de2b-11e9-89b5-4f55adf2ec03.JPG)
![StepDefs](https://user-images.githubusercontent.com/55695053/65424676-bd273700-de29-11e9-8291-d869664a94a4.JPG)
![allure report snap 1](https://user-images.githubusercontent.com/55695053/65424677-bd273700-de29-11e9-8572-970786ec1efc.JPG)
![Behave_ouput_1](https://user-images.githubusercontent.com/55695053/65424678-bdbfcd80-de29-11e9-9ba9-938a424ccacf.JPG)
![Behave_ouput_2](https://user-images.githubusercontent.com/55695053/65424679-bdbfcd80-de29-11e9-931b-83b3d8145406.JPG)

What is the expected behavior?
The skipped scenario results of previous scenario outline should not appear in next scenario outline results

Please tell us about your environment:
- Allure-version: allure-behave@2.8.5
- Test framework: behave@1.2.6

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

Commencez par reproduire le rapport avec behave@1.2.6 et allure-behave@2.8.5, en utilisant deux Scenario Outlines et le paramètre --no-skipped ou show_skipped = false. Examinez les résultats Allure générés afin de comparer les exemples ignorés du premier outline avec le rapport attendu, dans lequel ces scénarios ignorés n’apparaissent pas.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
python
Domaine
testing-qa
Type d'issue
Bug
Difficulté
3/5
Temps estimé
1-2 jours
Activité
À l'abandon
Clarté
Plutôt claire
Accessibilité débutants
35/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.