ProjectTech4DevAI / ProjectTech4DevAI/kaapi-frontend
Evaluation: Update score rendering system
Dieses Issue hat noch niemand übernommen.
- Vorherrschende Sprache
- TypeScript
- Sterne
- 1
- Forks
- 0
- Ø Merge
- 10 Std. 40 Min.
- Gemergte PRs (30 T.)
- 4
Beschreibung
Is your feature request related to a problem?
Score rendering currently assumes a cosine similarity on a 0–1 scale. The new v2 model provides three judge metrics—Adherence to Ground Truth, Adherence to Prompt, Adherence to Knowledge Base—as integers from 0–5, which are only applied per row if the necessary inputs are provided.
Describe the solution you'd like
- Update
app/lib/types/evaluation.tsto support the 0–5 range and the per-tracereasoningfield with traffic light colors 0–1 needs improvement(red), 2–3 could improve(yellow) and 4–5 good(green)
Screenshot of Glific UI for reference
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Beginne in app/lib/types/evaluation.ts und verfolge die Consumer der Score-Darstellung, die dessen Bewertungswerte verwenden. Überprüfe die Unterstützung für ganzzahlige Scores von 0–5, das Reasoning-Feld pro Trace sowie die angeforderten roten, gelben und grünen Bereiche für die drei Judge-Metriken. Bestätige, dass die Darstellung Metriken nur anwendet, wenn ihre erforderlichen Eingaben bereitgestellt werden.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- typescript
- Bereich
- frontend
- Issue-Typ
- Feature
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Aktivitätsstatus
- Aktiv
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 68/100