ProjectTech4DevAI / ProjectTech4DevAI/kaapi-backend

CI: End-to-end tests for async

Offen
#852 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Vorherrschende Sprache
Python
Sterne
18
Forks
10
Ø Merge
2 T. 20 Std.
Gemergte PRs (30 T.)
14

Beschreibung

Is your feature request related to a problem?
We currently lack end-to-end CI tests for the async pipeline, which leads to unnoticed regressions impacting customers. Without monitoring and alerting, issues may persist before they are detected.

Describe the solution you'd like

  • Add end-to-end CI tests for the async pipeline using a dedicated test account.
  • Run tests every 5 minutes on /llm/call, /llm/chain, and collection/document flows.
  • Verify job completion within SLA, validate responses, and ensure correct callback delivery.
  • Implement alerts for failures or latency breaches.
  • Track success rate, latency, and callback delivery in dashboards.
  • Run these tests on every PR and block merges if they fail.
Original issue

Add end-to-end CI tests for the full async pipeline by using a dedicated production test account. Every 5 minutes, run small test jobs against /llm/call, /llm/chain, and collection/document flows, verify jobs complete within SLA, responses are valid, and callbacks arrive correctly. Alert on failures or latency breaches, and track success rate, latency, and callback delivery in dashboards so pipeline issues are caught within minutes, before customers notice.Run these tests on every PR and block merges if they fail, so async regressions never reach main unnoticed.

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

  1. Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
  3. Forke das Repository und arbeite in einem Branch.
  4. Öffne einen Pull Request, der die Issue-Nummer nennt.

Rechercherichtung

Beginne damit, die asynchrone Pipeline hinter /llm/call, /llm/chain und den Collection-/Document-Abläufen nachzuverfolgen, und prüfe anschließend die bestehende CI-Konfiguration und die Einstiegspunkte für Tests. Als erledigt gilt die Aufgabe, wenn geplante und pro-PR-End-to-End-Prüfungen die SLA-Erfüllung, Antworten und Callbacks verifizieren und es Warnungen bei Fehlern oder Latenzen sowie Dashboards für Erfolgsrate, Latenz und Callback-Zustellung gibt.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python
Bereich
ci-cd, observability, testing-qa
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Ruhig
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.