Self-Driving Eval: Add UI for iteration

Abierto
#274 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
55/100
Tipo de issue
Nueva funcionalidad
Claridad
Bastante claro
Estado de actividad
Activo
Stack tecnológico
typescript
Área
api, frontend

Línea de trabajo

Comienza rastreando el patrón existente de mejora de prompts en la consola y su receptor de webhook; después, inspecciona POST /api/v2/evaluations/iterations y los tipos de respuesta documentados. Se considera terminado cuando los usuarios pueden iniciar un bucle de iteración, ver su estado y el historial de rondas, identificar la mejor ronda y entender cada stop_reason terminal y el valor de Knowledge Base de cada ronda.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

enhancement

Is your feature request related to a problem?
The v2 self-driving eval currently lacks a UI for starting or monitoring the prompt iteration loop, making it an API-only feature. This limits user accessibility and understanding of the process.

Describe the solution you'd like

  • Add a "Run iteration loop" entry point: dataset_id, experiment_name, config_id, config_version, max_rounds
  • Handle the 202 response with EvaluationIterationRunImmediatePublic details (iteration_run_id, status)
  • Implement a webhook receiver for the EvaluationIterationReportPublic callback, aligned with the prompt-improvement pattern
  • Display round-by-round history, the best round, and terminal stop_reason values (ceiling_reached, max_rounds_reached, round_failed)
Original issue

Is your feature request related to a problem?
v2 ships a self-driving eval → improve-prompt → eval loop (POST /api/v2/evaluations/iterations). There is no way to start one or watch it from the console, so the feature is API-only today.

Describe the solution you'd like

  • Add a "Run iteration loop" entry point: dataset_id, experiment_name, config_id, config_version, max_rounds
  • Handle the 202 response and its EvaluationIterationRunImmediatePublic handle (iteration_run_id, status)
  • Add a webhook receiver for the EvaluationIterationReportPublic callback, following the prompt-improvement pattern
  • Show round-by-round history, the best round, and the terminal stop_reason (ceiling_reached, max_rounds_reached, round_failed)

Comments: Stop-score is the mean of Adherence to Ground Truth and Adherence to Prompt; Knowledge Base is recorded per round for visibility only — worth reflecting in the UI so the numbers aren't confusing.

Parent: #265

Lenguaje dominante
TypeScript
Estrellas
1
Forks
0
Merge medio
10 h 40 min
PR fusionados (30 d)
4

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de ProjectTech4DevAI/kaapi-frontend

Todos los issues de ProjectTech4DevAI/kaapi-frontend

Issues similares

Más issues de TypeScript

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.