allure-framework / allure-framework/allure-python
AssertionError vs Exception
- Lenguaje dominante
- Python
- Estrellas
- 814
- Forks
- 260
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Descripción
Currently Allure fails only on AssertionError and all Exception is treated as Broken.
This is a good feature but pytest reports them as Fail. This causes a bit of confusion on the report status.
An intermediate approach can be to allow for option on what constitutes a fail.
A suggestion is to provide an API where one can register baseclasses that can be as failures. This provides for better control to use with infrastructures that can have some common analysis to look for additional failures.
```
def get_status(exception):
if exception:
if isinstance(exception, AssertionError) or isinstance(exception, pytest.fail.Exception):
return Status.FAILED
elif isinstance(exception, pytest.skip.Exception):
return Status.SKIPPED
return Status.BROKEN
else:
return Status.PASSED
```
=> Something like...
```
def get_status(exception):
if exception:
for base_class in allure.FailExceptionList:
if isinstance(exception, base_class):
return Status.FAILED
elif isinstance(exception, pytest.skip.Exception):
return Status.SKIPPED
return Status.BROKEN
else:
return Status.PASSED
```
Guía de contribución
Línea de trabajo
El issue no menciona archivos de implementación ni tests. Empieza localizando la ruta existente de excepción a estado representada por get_status y su integración con pytest; el trabajo está terminado cuando se permiten clases base de excepciones configurables, preservando el manejo de los estados failed, skipped, broken y passed.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- python
- Área
- testing-qa
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Estado de actividad
- Estancado
- Claridad
- Bastante claro
- Aptitud para principiantes
- 35/100