ProjectTech4DevAI / ProjectTech4DevAI/kaapi-frontend

Self-Driving Eval: Add UI for iteration

Ouverte
#274 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

enhancement
Langage dominant
TypeScript
Étoiles
1
Forks
0
Merge moyen
10 h 40 min
PR mergées (30 j)
4

Description

Is your feature request related to a problem?
The v2 self-driving eval currently lacks a UI for starting or monitoring the prompt iteration loop, making it an API-only feature. This limits user accessibility and understanding of the process.

Describe the solution you'd like

  • Add a "Run iteration loop" entry point: dataset_id, experiment_name, config_id, config_version, max_rounds
  • Handle the 202 response with EvaluationIterationRunImmediatePublic details (iteration_run_id, status)
  • Implement a webhook receiver for the EvaluationIterationReportPublic callback, aligned with the prompt-improvement pattern
  • Display round-by-round history, the best round, and terminal stop_reason values (ceiling_reached, max_rounds_reached, round_failed)
Original issue

Is your feature request related to a problem?
v2 ships a self-driving eval → improve-prompt → eval loop (POST /api/v2/evaluations/iterations). There is no way to start one or watch it from the console, so the feature is API-only today.

Describe the solution you'd like

  • Add a "Run iteration loop" entry point: dataset_id, experiment_name, config_id, config_version, max_rounds
  • Handle the 202 response and its EvaluationIterationRunImmediatePublic handle (iteration_run_id, status)
  • Add a webhook receiver for the EvaluationIterationReportPublic callback, following the prompt-improvement pattern
  • Show round-by-round history, the best round, and the terminal stop_reason (ceiling_reached, max_rounds_reached, round_failed)

Comments: Stop-score is the mean of Adherence to Ground Truth and Adherence to Prompt; Knowledge Base is recorded per round for visibility only — worth reflecting in the UI so the numbers aren't confusing.

Parent: #265

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Piste de recherche

Commencez par suivre le fonctionnement existant d’amélioration des prompts dans la console et son récepteur de webhook, puis examinez POST /api/v2/evaluations/iterations et les types de réponse documentés. Le travail est terminé lorsque les utilisateurs peuvent démarrer une boucle d’itération, voir son état et l’historique des tours, identifier le meilleur tour et comprendre chaque stop_reason terminal ainsi que la valeur de Knowledge Base pour chaque tour.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
typescript
Domaine
api, frontend
Type d'issue
Fonctionnalité
Difficulté
4/5
Temps estimé
3-5 jours
Activité
Active
Clarté
Plutôt claire
Accessibilité débutants
55/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.