Evaluation: Update improve-prompt to v2

Description

Is your feature request related to a problem?
The improve-prompt currently uses v1, which relies on cosine scores. This limits the ability to provide users with a more comprehensive recommendation based on better metrics available in v2.

Describe the solution you'd like

Redirect app/api/evaluations/[id]/improve-prompt/route.ts to POST /api/v2/evaluations/{evaluation_id}/improve-prompt
Maintain existing callback_url resolution and /api/webhooks/prompt-improvement receiver with unchanged body shape
Implement handling for PromptRecommendationJobPublic callback: recommendation_type: "prompt"
Restrict action to judged runs; return 422 not_a_judge_run for v1 runs

Original issue

Is your feature request related to a problem?
Improve-prompt proxies to v1, which drafts from cosine scores. v2 drafts from the three-metric judge trace (score + reasoning per metric) and returns a typed recommendation, so the console gets a better prompt and a reason for it.

Describe the solution you'd like

Point app/api/evaluations/[id]/improve-prompt/route.ts at POST /api/v2/evaluations/{evaluation_id}/improve-prompt
Keep the existing callback_url resolution and /api/webhooks/prompt-improvement receiver — the body shape is unchanged
Handle the PromptRecommendationJobPublic callback: recommendation_type: "prompt" (widening to a union later)
Only offer the action on judged runs; surface 422 not_a_judge_run if it's attempted on a v1 run

Parent: #265

Par où commencer

Lisez l'issue en entier, puis le guide de contribution du projet.

Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.

Forkez le dépôt et travaillez sur une branche.

Ouvrez une pull request qui référence le numéro de l'issue.

Piste de recherche

Commencez par app/api/evaluations/[id]/improve-prompt/route.ts et suivez la résolution de callback_url, puis examinez /api/webhooks/prompt-improvement et la forme disponible de PromptRecommendationJobPublic. Vérifiez la garde des exécutions évaluées et la requête v2, préservez la forme du corps du callback, gérez recommendation_type: "prompt" et confirmez que les exécutions v1 renvoient 422 not_a_judge_run.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique

typescript

Domaine

api, backend

Type d'issue

Fonctionnalité

Difficulté

4/5

Temps estimé

3-5 jours

Activité

Active

Clarté

Plutôt claire

Accessibilité débutants

68/100

Description

Guide de contribution

Par où commencer

Piste de recherche

Évaluation

Recevez les nouvelles issues par e-mail