microsoft / microsoft/vscode-java-test

Add consistency for reporting TestNG results for data providers

Abierto
#787 1 comentario 2 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

ai-triaged bug enhancement test-reporting testng ui
Lenguaje dominante
TypeScript
Estrellas
340
Forks
173
Merge medio
1 d 19 h
PR fusionados (30 d)
18

Descripción

Summary

Overall, great experience working with vscode and this extension thus far. Adding this feature/fixing the bug (eye of the beholder) will save a bit of time running commands in the terminal to get reliable results.

See below for a depiction of the disagreement between the user interface and console reports as well as a simple reproduce case.

I'd imagine there are many ways to approach this for full flexibility but I do think having the default test listener support this out of the box and at least have agreement in counts would be a desirable feature. I have used other IDEs and here is one way it is being approached: https://github.com/JetBrains/intellij-community/blob/2aa816fb814bb07c697a17d6a27e427e142a3633/plugins/testng_rt/src/com/intellij/rt/testng/IDEATestNGRemoteListener.java.

Note: there are ways to work around this by implementing the ITest interface per test and overriding the getTestName method but this is cumbersome as well!

System and application versions
Version: 1.37.1 (user setup)
Commit: f06011ac164ae4dc8e753a3fe7f9549844d15e35
Date: 2019-08-15T16:17:55.855Z
Electron: 4.2.7
Chrome: 69.0.3497.128
Node.js: 10.11.0
V8: 6.9.427.31-electron.0
OS: Windows_NT x64 10.0.18362
TestNG version
  <dependency>
            <groupId>org.testng</groupId>
            <artifactId>testng</artifactId>
            <version>6.8</version>
            <scope>test</scope>
  </dependency>
Repro case

image

Guía de contribución

Abrir la guía de contribución

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Línea de trabajo

Comienza con el listener predeterminado de TestNG y la ruta de generación de informes para los data providers; el workaround de ITest/getTestName del issue y el listener de IntelliJ enlazado sirven como puntos de comparación. Reproduce el caso del issue y verifica que la UI de VS Code y la consola informen de recuentos de pruebas coherentes.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
java, typescript, vscode
Área
developer-experience, testing
Tipo de issue
Error
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Estancado
Claridad
Necesita aclaración
Aptitud para principiantes
30/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.