allure-framework / allure-framework/allure-python

with `pytest-rerunfailures`, reruns are not recognized

オープン
#815 コメント 4 件 リアクション 1 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
814
フォーク
260
PR マージ指標
30日以内にマージされた PR はありません

説明

**Describe the bug**
Running a Pytest Test-Suite with the pytest-rerunfailures plugin does not recognize reruns. Instead, the result of the last run test is shown. Previously failed tests can be found as duplicates in the timeline. The flaky marker is not applied.

**Expected behavior**
The result of the last run test is shown. A flaky marker is applied. I am able to filter for tests that were rerun.

**Screenshots**
Example Test first run (failed):
![failed test (first run)](https://user-images.githubusercontent.com/1344744/105320469-7d5f9380-5bc6-11eb-89a0-ab8522e23244.png)
Example Test second run via --reruns=5 (succeeded)
![succeeded test (second run)](https://user-images.githubusercontent.com/1344744/105320474-7e90c080-5bc6-11eb-9cdc-40fd50690a26.png)
No flaky marker for test:
![no flaky marker](https://user-images.githubusercontent.com/1344744/105320594-a41dca00-5bc6-11eb-8f5e-a519c002db4e.png)

**Environment (please complete the following information):**

| Allure version | 2.13.6 |
| Python | 3.6.12 |
| Test framework | pytest@6.1.2 |
| Allure adaptor | allure-pytest@2.8.31, pytest-rerunfailures@9.1.1 |
| Generate report using | https://github.com/simple-elf/allure-report-action |

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

まず、記載されている Python、pytest、allure-pytest、pytest-rerunfailures のバージョンで問題を再現し、最初に失敗した実行と成功した再実行を比較します。再実行がタイムラインとレポートにどのように表示されるかを追跡し、最終結果が一度だけ表示され、flaky マーカーが適用され、再実行されたテストをフィルタリングできる状態になったら、問題は完了したものとします。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
python
領域
testing
issue の種類
バグ
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
35/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。