ProjectTech4DevAI / ProjectTech4DevAI/kaapi-backend

CI: End-to-end tests for async

Aperta
#852 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Lingua principale
Python
Stelle
18
Fork
10
Merge medio
2g 20h
PR unite (30g)
14

Descrizione

Is your feature request related to a problem?
We currently lack end-to-end CI tests for the async pipeline, which leads to unnoticed regressions impacting customers. Without monitoring and alerting, issues may persist before they are detected.

Describe the solution you'd like

  • Add end-to-end CI tests for the async pipeline using a dedicated test account.
  • Run tests every 5 minutes on /llm/call, /llm/chain, and collection/document flows.
  • Verify job completion within SLA, validate responses, and ensure correct callback delivery.
  • Implement alerts for failures or latency breaches.
  • Track success rate, latency, and callback delivery in dashboards.
  • Run these tests on every PR and block merges if they fail.
Original issue

Add end-to-end CI tests for the full async pipeline by using a dedicated production test account. Every 5 minutes, run small test jobs against /llm/call, /llm/chain, and collection/document flows, verify jobs complete within SLA, responses are valid, and callbacks arrive correctly. Alert on failures or latency breaches, and track success rate, latency, and callback delivery in dashboards so pipeline issues are caught within minutes, before customers notice.Run these tests on every PR and block merges if they fail, so async regressions never reach main unnoticed.

Guida per i contributori

Apri la guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Direzione di ricerca

Inizia tracciando la pipeline asincrona alla base di /llm/call, /llm/chain e dei flussi di collection/document, quindi esamina la configurazione CI esistente e i punti di ingresso dei test. Il lavoro è completato quando i controlli end-to-end pianificati e per PR verificano il rispetto dello SLA, le risposte e i callback, con avvisi per errori o latenza e dashboard per la percentuale di successo, la latenza e la consegna dei callback.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python
Ambito
ci-cd, observability, testing-qa
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Tranquilla
Chiarezza
Abbastanza chiara
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.