ProjectTech4DevAI / ProjectTech4DevAI/kaapi-frontend
Evaluation: Update improve-prompt to v2
Nadie ha tomado este issue todavía.
- Lenguaje dominante
- TypeScript
- Estrellas
- 1
- Forks
- 0
- Merge medio
- 10 h 40 min
- PR fusionados (30 d)
- 4
Descripción
Is your feature request related to a problem?
The improve-prompt currently uses v1, which relies on cosine scores. This limits the ability to provide users with a more comprehensive recommendation based on better metrics available in v2.
Describe the solution you'd like
- Redirect
app/api/evaluations/[id]/improve-prompt/route.tstoPOST /api/v2/evaluations/{evaluation_id}/improve-prompt - Maintain existing
callback_urlresolution and/api/webhooks/prompt-improvementreceiver with unchanged body shape - Implement handling for
PromptRecommendationJobPubliccallback:recommendation_type: "prompt" - Restrict action to judged runs; return
422 not_a_judge_runfor v1 runs
Original issue
Is your feature request related to a problem?
Improve-prompt proxies to v1, which drafts from cosine scores. v2 drafts from the three-metric judge trace (score + reasoning per metric) and returns a typed recommendation, so the console gets a better prompt and a reason for it.
Describe the solution you'd like
- Point
app/api/evaluations/[id]/improve-prompt/route.tsatPOST /api/v2/evaluations/{evaluation_id}/improve-prompt - Keep the existing
callback_urlresolution and/api/webhooks/prompt-improvementreceiver — the body shape is unchanged - Handle the
PromptRecommendationJobPubliccallback:recommendation_type: "prompt"(widening to a union later) - Only offer the action on judged runs; surface
422 not_a_judge_runif it's attempted on a v1 run
Parent: #265
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Línea de trabajo
Comienza con app/api/evaluations/[id]/improve-prompt/route.ts y rastrea la resolución de callback_url; después inspecciona /api/webhooks/prompt-improvement y la forma disponible de PromptRecommendationJobPublic. Verifica la protección para ejecuciones evaluadas y la solicitud v2, conserva la forma del cuerpo del callback, gestiona recommendation_type: "prompt" y confirma que las ejecuciones v1 devuelvan 422 not_a_judge_run.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- typescript
- Área
- api, backend
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Activo
- Claridad
- Bastante claro
- Aptitud para principiantes
- 68/100