ProjectTech4DevAI / ProjectTech4DevAI/kaapi-backend

Evaluation: STT Config

オープン
#595 コメント 0 件 リアクション 0 件 担当者 1 名 GitHub で見る

@Prajna1999 がすでに取り組んでいます。

2026年2月9日 から。

主要言語
Python
スター
18
フォーク
10
平均マージ
2日 20時間
マージ済み PR(30日)
14

説明

Is your feature request related to a problem?

In the first cut of STT evaluation, runs are created with hardcoded parameters (run_name, dataset_id, models). There is no way to pass a standardized config, making it difficult to manage and reproduce evaluation runs with different configurations (e.g. model settings, evaluation parameters). Text evaluation already solves this with config_id + config_version.

Describe the solution you'd like

Add config support to STT evaluation, following the text evaluation pattern:

  • Accept config_id and config_version as input parameters in STTEvaluationRunCreate
  • Resolve the config blob using ConfigVersionCrud before starting the evaluation batch
  • Store config_id and config_version in the EvaluationRun record
  • Extract STT-specific parameters (models, evaluation settings, etc.) from the resolved config

コントリビューションガイド

コントリビューションガイドを開く

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。