allure-framework / allure-framework/allure-python

with `pytest-rerunfailures`, reruns are not recognized

Aperta
#815 4 commenti 1 reazione 0 assegnatari Vedi su GitHub
Lingua principale
Python
Stelle
814
Fork
260
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

**Describe the bug**
Running a Pytest Test-Suite with the pytest-rerunfailures plugin does not recognize reruns. Instead, the result of the last run test is shown. Previously failed tests can be found as duplicates in the timeline. The flaky marker is not applied.

**Expected behavior**
The result of the last run test is shown. A flaky marker is applied. I am able to filter for tests that were rerun.

**Screenshots**
Example Test first run (failed):
![failed test (first run)](https://user-images.githubusercontent.com/1344744/105320469-7d5f9380-5bc6-11eb-89a0-ab8522e23244.png)
Example Test second run via --reruns=5 (succeeded)
![succeeded test (second run)](https://user-images.githubusercontent.com/1344744/105320474-7e90c080-5bc6-11eb-9cdc-40fd50690a26.png)
No flaky marker for test:
![no flaky marker](https://user-images.githubusercontent.com/1344744/105320594-a41dca00-5bc6-11eb-8f5e-a519c002db4e.png)

**Environment (please complete the following information):**

| Allure version | 2.13.6 |
| Python | 3.6.12 |
| Test framework | pytest@6.1.2 |
| Allure adaptor | allure-pytest@2.8.31, pytest-rerunfailures@9.1.1 |
| Generate report using | https://github.com/simple-elf/allure-report-action |

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia riproducendo il problema con le versioni indicate di Python, pytest, allure-pytest e pytest-rerunfailures, confrontando la prima esecuzione fallita con la riesecuzione riuscita. Traccia come la riesecuzione appare nella timeline e nel report, e considera il problema completato quando il risultato finale viene mostrato una sola volta, viene applicato un marker flaky e i test rieseguiti possono essere filtrati.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python
Ambito
testing
Tipo di issue
Bug
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.