ProjectTech4DevAI / ProjectTech4DevAI/kaapi-backend
STS: Reducing high latency issues
Offen
@Prajna1999 arbeitet bereits daran.
Seit 10.7.2026.
- Vorherrschende Sprache
- Python
- Sterne
- 18
- Forks
- 10
- Ø Merge
- 2 T. 20 Std.
- Gemergte PRs (30 T.)
- 14
Beschreibung
Is your feature request related to a problem?
We are experiencing high latency in STS flows, exceeding 40 seconds. This delays response times and impacts user experience.
Describe the solution you'd like
- Track and reduce kaapi side latency (make intermediate callbacks async for llm/chain)
- Explore ways to reduce latency at TTS
- Conduct testing on Glific end before further action
Original issue
- Track and reduce if any kaapi side latency (llm/chain: make intermediate callbacks async)
- Explore reduction on latency at TTS
Comments: - STS with FS is done
- Testing pending at Glific end
- Then we will pick for latency
Beitragsleitfaden
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Bewertung
Dieses Issue wurde noch nicht bewertet.