ProjectTech4DevAI / ProjectTech4DevAI/kaapi-frontend
Self-Driving Eval: Add UI for iteration
Personne n'a encore pris cette issue.
- Langage dominant
- TypeScript
- Étoiles
- 1
- Forks
- 0
- Merge moyen
- 10 h 40 min
- PR mergées (30 j)
- 4
Description
Is your feature request related to a problem?
The v2 self-driving eval currently lacks a UI for starting or monitoring the prompt iteration loop, making it an API-only feature. This limits user accessibility and understanding of the process.
Describe the solution you'd like
- Add a "Run iteration loop" entry point:
dataset_id,experiment_name,config_id,config_version,max_rounds - Handle the
202response withEvaluationIterationRunImmediatePublicdetails (iteration_run_id,status) - Implement a webhook receiver for the
EvaluationIterationReportPubliccallback, aligned with the prompt-improvement pattern - Display round-by-round history, the best round, and terminal
stop_reasonvalues (ceiling_reached,max_rounds_reached,round_failed)
Original issue
Is your feature request related to a problem?
v2 ships a self-driving eval → improve-prompt → eval loop (POST /api/v2/evaluations/iterations). There is no way to start one or watch it from the console, so the feature is API-only today.
Describe the solution you'd like
- Add a "Run iteration loop" entry point:
dataset_id,experiment_name,config_id,config_version,max_rounds - Handle the
202response and itsEvaluationIterationRunImmediatePublichandle (iteration_run_id,status) - Add a webhook receiver for the
EvaluationIterationReportPubliccallback, following the prompt-improvement pattern - Show round-by-round history, the best round, and the terminal
stop_reason(ceiling_reached,max_rounds_reached,round_failed)
Comments: Stop-score is the mean of Adherence to Ground Truth and Adherence to Prompt; Knowledge Base is recorded per round for visibility only — worth reflecting in the UI so the numbers aren't confusing.
Parent: #265
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Piste de recherche
Commencez par suivre le fonctionnement existant d’amélioration des prompts dans la console et son récepteur de webhook, puis examinez POST /api/v2/evaluations/iterations et les types de réponse documentés. Le travail est terminé lorsque les utilisateurs peuvent démarrer une boucle d’itération, voir son état et l’historique des tours, identifier le meilleur tour et comprendre chaque stop_reason terminal ainsi que la valeur de Knowledge Base pour chaque tour.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- typescript
- Domaine
- api, frontend
- Type d'issue
- Fonctionnalité
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Activité
- Active
- Clarté
- Plutôt claire
- Accessibilité débutants
- 55/100