nodejs / nodejs/node-core-utils
ncu-ci walk: exclude PR-modified tests from the flaky count
Nadie ha tomado este issue todavía.
- Lenguaje dominante
- JavaScript
- Estrellas
- 314
- Forks
- 137
- Merge medio
- 2 d 8 h
- PR fusionados (30 d)
- 24
Descripción
Current Behavior
Failures currently contribute to the flaky count even when the PR modified the failing test. Such failures are likely caused by the PR and should not count as independent flaky occurrences.
For example, CI build 75799 failed test-ffi-fast-buffer, but the PR modified test/ffi/test-ffi-fast-buffer.js. Excluding this occurrence would leave only one qualifying PR, so the test would not appear in the reliability report:
https://github.com/nodejs/reliability/blob/main/reports/2026-08-15.md
Expected Behavior
Exclude an occurrence from the flaky count when its test file was modified by the tested PR revision.
Guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Línea de trabajo
Comienza con la lógica de recorrido de ncu-ci que calcula los flaky counts y los informes de fiabilidad, y luego sigue cómo se asocia cada ocurrencia con la revisión del PR probado. Usa el ejemplo test-ffi-fast-buffer.js y CI build 75799 como caso de referencia; el trabajo estará terminado cuando las ocurrencias cuyo archivo de test haya sido modificado por el PR ya no contribuyan al flaky count.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- javascript
- Área
- ci-cd, testing
- Tipo de issue
- Error
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Estado de actividad
- Tranquilo
- Claridad
- Bastante claro
- Aptitud para principiantes
- 65/100