ProjectTech4DevAI / ProjectTech4DevAI/kaapi-frontend
Evaluation UI: Model Config
Personne n'a encore pris cette issue.
- Langage dominant
- TypeScript
- Étoiles
- 1
- Forks
- 0
- Merge moyen
- 10 h 40 min
- PR mergées (30 j)
- 4
Description
Is your feature request related to a problem?
The current evaluation config only supports basic options: model name, vector store ID, and system prompt. However, different models have different configuration parameters—newer models support reasoning and verbosity, while older models use temperature and top_p.
This limits our ability to properly evaluate models with their optimal settings.
Describe the solution you'd like
Add support for model-specific configuration options in the evaluation config:
- Newer models: reasoning, verbosity
- Older models: temperature, top_p, max_tokens
This would:
- Allow evaluations with model-appropriate parameters
- Enable testing different config combinations (e.g., high vs low temperature)
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Piste de recherche
Aucun fichier ni test n’est nommé. Commencez par localiser l’UI de configuration des évaluations et le code qui construit la configuration du modèle, puis suivez la manière dont sont actuellement gérés le nom du modèle, l’ID du magasin de vecteurs et le prompt système. La tâche est terminée lorsque les options de reasoning, verbosity, temperature, top_p et max_tokens spécifiques au modèle peuvent être configurées pour les évaluations, y compris différentes combinaisons.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- typescript
- Domaine
- frontend
- Type d'issue
- Fonctionnalité
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Activité
- À l'abandon
- Clarté
- Plutôt claire
- Accessibilité débutants
- 45/100