ProjectTech4DevAI / ProjectTech4DevAI/kaapi-backend

CI: End-to-end tests for async

Ouverte
#852 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Langage dominant
Python
Étoiles
18
Forks
10
Merge moyen
2 j 20 h
PR mergées (30 j)
14

Description

Is your feature request related to a problem?
We currently lack end-to-end CI tests for the async pipeline, which leads to unnoticed regressions impacting customers. Without monitoring and alerting, issues may persist before they are detected.

Describe the solution you'd like

  • Add end-to-end CI tests for the async pipeline using a dedicated test account.
  • Run tests every 5 minutes on /llm/call, /llm/chain, and collection/document flows.
  • Verify job completion within SLA, validate responses, and ensure correct callback delivery.
  • Implement alerts for failures or latency breaches.
  • Track success rate, latency, and callback delivery in dashboards.
  • Run these tests on every PR and block merges if they fail.
Original issue

Add end-to-end CI tests for the full async pipeline by using a dedicated production test account. Every 5 minutes, run small test jobs against /llm/call, /llm/chain, and collection/document flows, verify jobs complete within SLA, responses are valid, and callbacks arrive correctly. Alert on failures or latency breaches, and track success rate, latency, and callback delivery in dashboards so pipeline issues are caught within minutes, before customers notice.Run these tests on every PR and block merges if they fail, so async regressions never reach main unnoticed.

Guide de contribution

Ouvrir le guide de contribution

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Piste de recherche

Commencez par retracer le pipeline asynchrone derrière /llm/call, /llm/chain et les flux de collections/documents, puis examinez la configuration CI existante et les points d’entrée des tests. Le travail est considéré comme terminé lorsque des vérifications end-to-end planifiées et par PR vérifient le respect du SLA, les réponses et les callbacks, avec des alertes en cas d’échec ou de latence, ainsi que des tableaux de bord pour le taux de réussite, la latence et la livraison des callbacks.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
python
Domaine
ci-cd, observability, testing-qa
Type d'issue
Fonctionnalité
Difficulté
5/5
Temps estimé
Plus d'une semaine
Activité
Calme
Clarté
Plutôt claire
Accessibilité débutants
35/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.