ProjectTech4DevAI / ProjectTech4DevAI/kaapi-backend

Evaluation: Tracking overall latency

Abierto
#1,041 0 comentarios 0 reacciones 1 asignado Ver en GitHub

@AkhileshNegi ya está trabajando en esto.

Desde el 10/7/2026.

Lenguaje dominante
Python
Estrellas
18
Forks
10
Merge medio
2 d 20 h
PR fusionados (30 d)
14

Descripción

Is your feature request related to a problem?
We lack visibility on the overall evaluation process latency, which affects our ability to identify bottlenecks and optimize performance.

Describe the solution you'd like

  • Track overall evaluation latency
  • Breakdown latency for cosine score and LLM judge score
  • Identify latency added by kaapi
  • Explore scope for improvement in latency
Original issue

Tracking below for fast evals (observability)

  • Tracking Evals overall latency
  • Breakup for latency for cosine score, latency for llm judge score
  • Latency added by kaapi ?

Basis above, explore scope for improvement on the latency

Guía de contribución

Abrir la guía de contribución

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Evaluación

Este issue todavía no se ha evaluado.

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.