ProjectTech4DevAI / ProjectTech4DevAI/kaapi-backend

Evaluation: Tracking overall latency

Offen
#1,041 0 Kommentare 0 Reaktionen 1 zugewiesene Person Auf GitHub ansehen

@AkhileshNegi arbeitet bereits daran.

Seit 10.7.2026.

Vorherrschende Sprache
Python
Sterne
18
Forks
10
Ø Merge
2 T. 20 Std.
Gemergte PRs (30 T.)
14

Beschreibung

Is your feature request related to a problem?
We lack visibility on the overall evaluation process latency, which affects our ability to identify bottlenecks and optimize performance.

Describe the solution you'd like

  • Track overall evaluation latency
  • Breakdown latency for cosine score and LLM judge score
  • Identify latency added by kaapi
  • Explore scope for improvement in latency
Original issue

Tracking below for fast evals (observability)

  • Tracking Evals overall latency
  • Breakup for latency for cosine score, latency for llm judge score
  • Latency added by kaapi ?

Basis above, explore scope for improvement on the latency

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

  1. Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
  3. Forke das Repository und arbeite in einem Branch.
  4. Öffne einen Pull Request, der die Issue-Nummer nennt.

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.