Evaluation: Update improve-prompt to v2

Descrizione

Is your feature request related to a problem?
The improve-prompt currently uses v1, which relies on cosine scores. This limits the ability to provide users with a more comprehensive recommendation based on better metrics available in v2.

Describe the solution you'd like

Redirect app/api/evaluations/[id]/improve-prompt/route.ts to POST /api/v2/evaluations/{evaluation_id}/improve-prompt
Maintain existing callback_url resolution and /api/webhooks/prompt-improvement receiver with unchanged body shape
Implement handling for PromptRecommendationJobPublic callback: recommendation_type: "prompt"
Restrict action to judged runs; return 422 not_a_judge_run for v1 runs

Original issue

Is your feature request related to a problem?
Improve-prompt proxies to v1, which drafts from cosine scores. v2 drafts from the three-metric judge trace (score + reasoning per metric) and returns a typed recommendation, so the console gets a better prompt and a reason for it.

Describe the solution you'd like

Point app/api/evaluations/[id]/improve-prompt/route.ts at POST /api/v2/evaluations/{evaluation_id}/improve-prompt
Keep the existing callback_url resolution and /api/webhooks/prompt-improvement receiver — the body shape is unchanged
Handle the PromptRecommendationJobPublic callback: recommendation_type: "prompt" (widening to a union later)
Only offer the action on judged runs; surface 422 not_a_judge_run if it's attempted on a v1 run

Parent: #265

Come iniziare

Leggi tutta la issue e poi la guida ai contributi del progetto.

Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.

Fai un fork del repository e lavora su un branch.

Apri una pull request che faccia riferimento al numero della issue.

Direzione di ricerca

Inizia da app/api/evaluations/[id]/improve-prompt/route.ts e traccia la risoluzione di callback_url, quindi esamina /api/webhooks/prompt-improvement e la forma disponibile di PromptRecommendationJobPublic. Verifica il controllo per le esecuzioni valutate e la richiesta v2, preserva la forma del corpo del callback, gestisci recommendation_type: "prompt" e conferma che le esecuzioni v1 restituiscano 422 not_a_judge_run.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico

typescript

Ambito

api, backend

Tipo di issue

Funzionalità

Difficoltà

4/5

Tempo stimato

3-5 giorni

Stato di attività

Attiva

Chiarezza

Abbastanza chiara

Idoneità per principianti

68/100

Descrizione

Guida per i contributori

Come iniziare

Direzione di ricerca

Valutazione

Ricevi le nuove issue nella tua casella