ProjectTech4DevAI / ProjectTech4DevAI/kaapi-frontend

Evaluation UI: Model Config

Ouverte
#8 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

enhancement
Langage dominant
TypeScript
Étoiles
1
Forks
0
Merge moyen
10 h 40 min
PR mergées (30 j)
4

Description

Is your feature request related to a problem?

The current evaluation config only supports basic options: model name, vector store ID, and system prompt. However, different models have different configuration parameters—newer models support reasoning and verbosity, while older models use temperature and top_p.
This limits our ability to properly evaluate models with their optimal settings.

Describe the solution you'd like

Add support for model-specific configuration options in the evaluation config:

  • Newer models: reasoning, verbosity
  • Older models: temperature, top_p, max_tokens

This would:

  • Allow evaluations with model-appropriate parameters
  • Enable testing different config combinations (e.g., high vs low temperature)

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Piste de recherche

Aucun fichier ni test n’est nommé. Commencez par localiser l’UI de configuration des évaluations et le code qui construit la configuration du modèle, puis suivez la manière dont sont actuellement gérés le nom du modèle, l’ID du magasin de vecteurs et le prompt système. La tâche est terminée lorsque les options de reasoning, verbosity, temperature, top_p et max_tokens spécifiques au modèle peuvent être configurées pour les évaluations, y compris différentes combinaisons.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
typescript
Domaine
frontend
Type d'issue
Fonctionnalité
Difficulté
4/5
Temps estimé
3-5 jours
Activité
À l'abandon
Clarté
Plutôt claire
Accessibilité débutants
45/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.