ProjectTech4DevAI / ProjectTech4DevAI/kaapi-backend
CI: End-to-end tests for async
Chưa có ai nhận issue này.
- Ngôn ngữ chính
- Python
- Star
- 18
- Fork
- 10
- Merge trung bình
- 2 ngày 20 giờ
- Pull request đã merge (30 ngày)
- 14
Mô tả
Is your feature request related to a problem?
We currently lack end-to-end CI tests for the async pipeline, which leads to unnoticed regressions impacting customers. Without monitoring and alerting, issues may persist before they are detected.
Describe the solution you'd like
- Add end-to-end CI tests for the async pipeline using a dedicated test account.
- Run tests every 5 minutes on /llm/call, /llm/chain, and collection/document flows.
- Verify job completion within SLA, validate responses, and ensure correct callback delivery.
- Implement alerts for failures or latency breaches.
- Track success rate, latency, and callback delivery in dashboards.
- Run these tests on every PR and block merges if they fail.
Original issue
Add end-to-end CI tests for the full async pipeline by using a dedicated production test account. Every 5 minutes, run small test jobs against /llm/call, /llm/chain, and collection/document flows, verify jobs complete within SLA, responses are valid, and callbacks arrive correctly. Alert on failures or latency breaches, and track success rate, latency, and callback delivery in dashboards so pipeline issues are caught within minutes, before customers notice.Run these tests on every PR and block merges if they fail, so async regressions never reach main unnoticed.
Hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Hướng nghiên cứu
Bắt đầu bằng cách truy vết pipeline bất đồng bộ phía sau /llm/call, /llm/chain và các luồng collection/document, sau đó xem xét cấu hình CI hiện có và các điểm vào của test. Công việc được xem là hoàn tất khi các kiểm tra end-to-end theo lịch và theo từng PR xác minh việc hoàn thành SLA, các response và callback, kèm theo cảnh báo khi có lỗi hoặc độ trễ, cùng các dashboard về tỷ lệ thành công, độ trễ và việc phân phối callback.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- python
- Lĩnh vực
- ci-cd, observability, testing-qa
- Loại issue
- Tính năng
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức độ hoạt động
- Ít trao đổi
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 35/100