Evaluation: Update improve-prompt to v2

説明

Is your feature request related to a problem?
The improve-prompt currently uses v1, which relies on cosine scores. This limits the ability to provide users with a more comprehensive recommendation based on better metrics available in v2.

Describe the solution you'd like

Redirect app/api/evaluations/[id]/improve-prompt/route.ts to POST /api/v2/evaluations/{evaluation_id}/improve-prompt
Maintain existing callback_url resolution and /api/webhooks/prompt-improvement receiver with unchanged body shape
Implement handling for PromptRecommendationJobPublic callback: recommendation_type: "prompt"
Restrict action to judged runs; return 422 not_a_judge_run for v1 runs

Original issue

Is your feature request related to a problem?
Improve-prompt proxies to v1, which drafts from cosine scores. v2 drafts from the three-metric judge trace (score + reasoning per metric) and returns a typed recommendation, so the console gets a better prompt and a reason for it.

Describe the solution you'd like

Point app/api/evaluations/[id]/improve-prompt/route.ts at POST /api/v2/evaluations/{evaluation_id}/improve-prompt
Keep the existing callback_url resolution and /api/webhooks/prompt-improvement receiver — the body shape is unchanged
Handle the PromptRecommendationJobPublic callback: recommendation_type: "prompt" (widening to a union later)
Only offer the action on judged runs; surface 422 not_a_judge_run if it's attempted on a v1 run

Parent: #265

はじめの一歩

issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。

着手することを issue にコメントします — 二人が同じ作業をするのを防げます。

リポジトリをフォークし、ブランチを切って変更します。

issue 番号を参照したプルリクエストを送ります。

調査の方向性

app/api/evaluations/[id]/improve-prompt/route.ts から始めて callback_url の解決を追跡し、次に /api/webhooks/prompt-improvement と利用可能な PromptRecommendationJobPublic の形を調べます。評価済み実行のガードと v2 リクエストを検証し、callback body の形を維持し、recommendation_type: "prompt" を処理し、v1 の実行が 422 not_a_judge_run を返すことを確認します。

索引モデルが issue の本文から書いたものです。

評価

技術スタック

typescript

領域

api, backend

issue の種類

機能追加

難易度

4/5

見積もり時間

3〜5日

活発さ

活発

明瞭さ

おおむね明確

初心者へのやさしさ

68/100

説明

コントリビューションガイド

はじめの一歩

調査の方向性

評価

新しい issue をメールで受け取る