ProjectTech4DevAI / ProjectTech4DevAI/kaapi-frontend

Evaluation: Update score rendering system

オープン
#269 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

enhancement
主要言語
TypeScript
スター
1
フォーク
0
平均マージ
10時間 40分
マージ済み PR(30日)
4

説明

Is your feature request related to a problem?
Score rendering currently assumes a cosine similarity on a 0–1 scale. The new v2 model provides three judge metrics—Adherence to Ground Truth, Adherence to Prompt, Adherence to Knowledge Base—as integers from 0–5, which are only applied per row if the necessary inputs are provided.

Describe the solution you'd like

  • Update app/lib/types/evaluation.ts to support the 0–5 range and the per-trace reasoning field with traffic light colors 0–1 needs improvement(red), 2–3 could improve(yellow) and 4–5 good(green)

Screenshot of Glific UI for reference

Image

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

調査の方向性

app/lib/types/evaluation.ts から始め、その評価値を使用するスコアレンダリングのコンシューマーを追跡します。0–5 の整数スコア、trace ごとの reasoning フィールド、および 3 つの judge メトリクスに対して要求された赤・黄・緑の範囲がサポートされていることを確認します。必要な入力が提供されている場合にのみ、レンダリングがメトリクスを適用することを確認します。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
typescript
領域
frontend
issue の種類
機能追加
難易度
3/5
見積もり時間
1〜2日
活発さ
活発
明瞭さ
おおむね明確
初心者へのやさしさ
68/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。