ProjectTech4DevAI / ProjectTech4DevAI/kaapi-backend

CI: End-to-end tests for async

Abierto
#852 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Lenguaje dominante
Python
Estrellas
18
Forks
10
Merge medio
2 d 20 h
PR fusionados (30 d)
14

Descripción

Is your feature request related to a problem?
We currently lack end-to-end CI tests for the async pipeline, which leads to unnoticed regressions impacting customers. Without monitoring and alerting, issues may persist before they are detected.

Describe the solution you'd like

  • Add end-to-end CI tests for the async pipeline using a dedicated test account.
  • Run tests every 5 minutes on /llm/call, /llm/chain, and collection/document flows.
  • Verify job completion within SLA, validate responses, and ensure correct callback delivery.
  • Implement alerts for failures or latency breaches.
  • Track success rate, latency, and callback delivery in dashboards.
  • Run these tests on every PR and block merges if they fail.
Original issue

Add end-to-end CI tests for the full async pipeline by using a dedicated production test account. Every 5 minutes, run small test jobs against /llm/call, /llm/chain, and collection/document flows, verify jobs complete within SLA, responses are valid, and callbacks arrive correctly. Alert on failures or latency breaches, and track success rate, latency, and callback delivery in dashboards so pipeline issues are caught within minutes, before customers notice.Run these tests on every PR and block merges if they fail, so async regressions never reach main unnoticed.

Guía de contribución

Abrir la guía de contribución

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Línea de trabajo

Empieza trazando la canalización asíncrona detrás de /llm/call, /llm/chain y los flujos de colecciones/documentos; después, revisa la configuración de CI existente y los puntos de entrada de las pruebas. Se considera terminado cuando las comprobaciones end-to-end programadas y por PR verifican el cumplimiento del SLA, las respuestas y los callbacks, con alertas de fallos o latencia y paneles para la tasa de éxito, la latencia y la entrega de callbacks.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
python
Área
ci-cd, observability, testing-qa
Tipo de issue
Nueva funcionalidad
Dificultad
5/5
Tiempo estimado
Más de una semana
Estado de actividad
Tranquilo
Claridad
Bastante claro
Aptitud para principiantes
35/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.