allure-framework / allure-framework/allure-python

with `pytest-rerunfailures`, reruns are not recognized

Offen
#815 4 Kommentare 1 Reaktion 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Python
Sterne
814
Forks
260
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

**Describe the bug**
Running a Pytest Test-Suite with the pytest-rerunfailures plugin does not recognize reruns. Instead, the result of the last run test is shown. Previously failed tests can be found as duplicates in the timeline. The flaky marker is not applied.

**Expected behavior**
The result of the last run test is shown. A flaky marker is applied. I am able to filter for tests that were rerun.

**Screenshots**
Example Test first run (failed):
![failed test (first run)](https://user-images.githubusercontent.com/1344744/105320469-7d5f9380-5bc6-11eb-89a0-ab8522e23244.png)
Example Test second run via --reruns=5 (succeeded)
![succeeded test (second run)](https://user-images.githubusercontent.com/1344744/105320474-7e90c080-5bc6-11eb-9cdc-40fd50690a26.png)
No flaky marker for test:
![no flaky marker](https://user-images.githubusercontent.com/1344744/105320594-a41dca00-5bc6-11eb-8f5e-a519c002db4e.png)

**Environment (please complete the following information):**

| Allure version | 2.13.6 |
| Python | 3.6.12 |
| Test framework | pytest@6.1.2 |
| Allure adaptor | allure-pytest@2.8.31, pytest-rerunfailures@9.1.1 |
| Generate report using | https://github.com/simple-elf/allure-report-action |

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginnen Sie damit, das Problem mit den aufgeführten Versionen von Python, pytest, allure-pytest und pytest-rerunfailures zu reproduzieren, und vergleichen Sie den ersten fehlgeschlagenen Lauf mit dem erfolgreichen erneuten Lauf. Verfolgen Sie, wie der erneute Lauf in der Timeline und im Report erscheint, und betrachten Sie das Problem als abgeschlossen, wenn das Endergebnis einmal angezeigt wird, eine Flaky-Markierung angewendet wird und Tests mit erneutem Lauf gefiltert werden können.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python
Bereich
testing
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.