ProjectTech4DevAI / ProjectTech4DevAI/kaapi-frontend

Evaluation: Update score rendering system

Ouverte
#269 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

enhancement
Langage dominant
TypeScript
Étoiles
1
Forks
0
Merge moyen
10 h 40 min
PR mergées (30 j)
4

Description

Is your feature request related to a problem?
Score rendering currently assumes a cosine similarity on a 0–1 scale. The new v2 model provides three judge metrics—Adherence to Ground Truth, Adherence to Prompt, Adherence to Knowledge Base—as integers from 0–5, which are only applied per row if the necessary inputs are provided.

Describe the solution you'd like

  • Update app/lib/types/evaluation.ts to support the 0–5 range and the per-trace reasoning field with traffic light colors 0–1 needs improvement(red), 2–3 could improve(yellow) and 4–5 good(green)

Screenshot of Glific UI for reference

Image

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Piste de recherche

Commencez dans app/lib/types/evaluation.ts et suivez les consommateurs du rendu des scores qui utilisent ses valeurs d’évaluation. Vérifiez la prise en charge des scores entiers de 0–5, du champ de raisonnement par trace et des plages rouge, jaune et verte demandées pour les trois métriques de judge. Confirmez que le rendu n’applique les métriques que lorsque leurs entrées requises sont fournies.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
typescript
Domaine
frontend
Type d'issue
Fonctionnalité
Difficulté
3/5
Temps estimé
1-2 jours
Activité
Active
Clarté
Plutôt claire
Accessibilité débutants
68/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.