allure-framework / allure-framework/allure-python

with `pytest-rerunfailures`, reruns are not recognized

Abierto
#815 4 comentarios 1 reacción 0 asignados Ver en GitHub
Lenguaje dominante
Python
Estrellas
814
Forks
260
Métricas de merge de PR
Sin PR fusionados en 30 d

Descripción

**Describe the bug**
Running a Pytest Test-Suite with the pytest-rerunfailures plugin does not recognize reruns. Instead, the result of the last run test is shown. Previously failed tests can be found as duplicates in the timeline. The flaky marker is not applied.

**Expected behavior**
The result of the last run test is shown. A flaky marker is applied. I am able to filter for tests that were rerun.

**Screenshots**
Example Test first run (failed):
![failed test (first run)](https://user-images.githubusercontent.com/1344744/105320469-7d5f9380-5bc6-11eb-89a0-ab8522e23244.png)
Example Test second run via --reruns=5 (succeeded)
![succeeded test (second run)](https://user-images.githubusercontent.com/1344744/105320474-7e90c080-5bc6-11eb-9cdc-40fd50690a26.png)
No flaky marker for test:
![no flaky marker](https://user-images.githubusercontent.com/1344744/105320594-a41dca00-5bc6-11eb-8f5e-a519c002db4e.png)

**Environment (please complete the following information):**

| Allure version | 2.13.6 |
| Python | 3.6.12 |
| Test framework | pytest@6.1.2 |
| Allure adaptor | allure-pytest@2.8.31, pytest-rerunfailures@9.1.1 |
| Generate report using | https://github.com/simple-elf/allure-report-action |

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

Comienza reproduciendo el problema con las versiones indicadas de Python, pytest, allure-pytest y pytest-rerunfailures, comparando la primera ejecución fallida con la reejecución exitosa. Rastrea cómo aparece la reejecución en la línea de tiempo y en el informe, y considera completado el problema cuando el resultado final se muestre una sola vez, se aplique un marcador de flaky y las pruebas reejecutadas se puedan filtrar.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
python
Área
testing
Tipo de issue
Error
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Estancado
Claridad
Bastante claro
Aptitud para principiantes
35/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.