ProjectTech4DevAI / ProjectTech4DevAI/kaapi-backend

Evaluation: STT Config

Ouverte
#595 0 commentaires 0 réactions 1 personne assignée Voir sur GitHub

@Prajna1999 y travaille déjà.

Depuis le 9/2/2026.

Langage dominant
Python
Étoiles
18
Forks
10
Merge moyen
2 j 20 h
PR mergées (30 j)
14

Description

Is your feature request related to a problem?

In the first cut of STT evaluation, runs are created with hardcoded parameters (run_name, dataset_id, models). There is no way to pass a standardized config, making it difficult to manage and reproduce evaluation runs with different configurations (e.g. model settings, evaluation parameters). Text evaluation already solves this with config_id + config_version.

Describe the solution you'd like

Add config support to STT evaluation, following the text evaluation pattern:

  • Accept config_id and config_version as input parameters in STTEvaluationRunCreate
  • Resolve the config blob using ConfigVersionCrud before starting the evaluation batch
  • Store config_id and config_version in the EvaluationRun record
  • Extract STT-specific parameters (models, evaluation settings, etc.) from the resolved config

Guide de contribution

Ouvrir le guide de contribution

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Évaluation

Cette issue n'a pas encore été évaluée.

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.