ProjectTech4DevAI / ProjectTech4DevAI/kaapi-frontend

Evaluation: Update score rendering system

Offen
#269 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

enhancement
Vorherrschende Sprache
TypeScript
Sterne
1
Forks
0
Ø Merge
10 Std. 40 Min.
Gemergte PRs (30 T.)
4

Beschreibung

Is your feature request related to a problem?
Score rendering currently assumes a cosine similarity on a 0–1 scale. The new v2 model provides three judge metrics—Adherence to Ground Truth, Adherence to Prompt, Adherence to Knowledge Base—as integers from 0–5, which are only applied per row if the necessary inputs are provided.

Describe the solution you'd like

  • Update app/lib/types/evaluation.ts to support the 0–5 range and the per-trace reasoning field with traffic light colors 0–1 needs improvement(red), 2–3 could improve(yellow) and 4–5 good(green)

Screenshot of Glific UI for reference

Image

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Erste Schritte

  1. Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
  3. Forke das Repository und arbeite in einem Branch.
  4. Öffne einen Pull Request, der die Issue-Nummer nennt.

Rechercherichtung

Beginne in app/lib/types/evaluation.ts und verfolge die Consumer der Score-Darstellung, die dessen Bewertungswerte verwenden. Überprüfe die Unterstützung für ganzzahlige Scores von 0–5, das Reasoning-Feld pro Trace sowie die angeforderten roten, gelben und grünen Bereiche für die drei Judge-Metriken. Bestätige, dass die Darstellung Metriken nur anwendet, wenn ihre erforderlichen Eingaben bereitgestellt werden.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
typescript
Bereich
frontend
Issue-Typ
Feature
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Aktiv
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
68/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.