ProjectTech4DevAI / ProjectTech4DevAI/kaapi-frontend
Self-Driving Eval: Add UI for iteration
Dieses Issue hat noch niemand übernommen.
- Vorherrschende Sprache
- TypeScript
- Sterne
- 1
- Forks
- 0
- Ø Merge
- 10 Std. 40 Min.
- Gemergte PRs (30 T.)
- 4
Beschreibung
Is your feature request related to a problem?
The v2 self-driving eval currently lacks a UI for starting or monitoring the prompt iteration loop, making it an API-only feature. This limits user accessibility and understanding of the process.
Describe the solution you'd like
- Add a "Run iteration loop" entry point:
dataset_id,experiment_name,config_id,config_version,max_rounds - Handle the
202response withEvaluationIterationRunImmediatePublicdetails (iteration_run_id,status) - Implement a webhook receiver for the
EvaluationIterationReportPubliccallback, aligned with the prompt-improvement pattern - Display round-by-round history, the best round, and terminal
stop_reasonvalues (ceiling_reached,max_rounds_reached,round_failed)
Original issue
Is your feature request related to a problem?
v2 ships a self-driving eval → improve-prompt → eval loop (POST /api/v2/evaluations/iterations). There is no way to start one or watch it from the console, so the feature is API-only today.
Describe the solution you'd like
- Add a "Run iteration loop" entry point:
dataset_id,experiment_name,config_id,config_version,max_rounds - Handle the
202response and itsEvaluationIterationRunImmediatePublichandle (iteration_run_id,status) - Add a webhook receiver for the
EvaluationIterationReportPubliccallback, following the prompt-improvement pattern - Show round-by-round history, the best round, and the terminal
stop_reason(ceiling_reached,max_rounds_reached,round_failed)
Comments: Stop-score is the mean of Adherence to Ground Truth and Adherence to Prompt; Knowledge Base is recorded per round for visibility only — worth reflecting in the UI so the numbers aren't confusing.
Parent: #265
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Beginne damit, das bestehende Muster zur Prompt-Verbesserung in der Konsole und ihrem Webhook-Receiver nachzuverfolgen. Untersuche anschließend POST /api/v2/evaluations/iterations und die dokumentierten Antworttypen. Als abgeschlossen gilt die Aufgabe, wenn Benutzer eine Iterationsschleife starten, ihren Status und den Verlauf der Runden sehen, die beste Runde identifizieren und jeden terminalen stop_reason sowie den Knowledge Base-Wert pro Runde verstehen können.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- typescript
- Bereich
- api, frontend
- Issue-Typ
- Feature
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Aktiv
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 55/100