ProjectTech4DevAI / ProjectTech4DevAI/kaapi-frontend
Evaluation UI: Model Config
Nessuno ha ancora preso questa issue.
- Lingua principale
- TypeScript
- Stelle
- 1
- Fork
- 0
- Merge medio
- 10h 40m
- PR unite (30g)
- 4
Descrizione
Is your feature request related to a problem?
The current evaluation config only supports basic options: model name, vector store ID, and system prompt. However, different models have different configuration parameters—newer models support reasoning and verbosity, while older models use temperature and top_p.
This limits our ability to properly evaluate models with their optimal settings.
Describe the solution you'd like
Add support for model-specific configuration options in the evaluation config:
- Newer models: reasoning, verbosity
- Older models: temperature, top_p, max_tokens
This would:
- Allow evaluations with model-appropriate parameters
- Enable testing different config combinations (e.g., high vs low temperature)
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Direzione di ricerca
Non vengono indicati file o test. Inizia individuando la UI di configurazione delle valutazioni e il codice che costruisce la configurazione del modello, quindi traccia come vengono gestiti attualmente il nome del modello, l’ID del vector store e il prompt di sistema. Il lavoro è completato quando per le valutazioni è possibile configurare le opzioni di reasoning, verbosity, temperature, top_p e max_tokens specifiche del modello, incluse combinazioni diverse.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- typescript
- Ambito
- frontend
- Tipo di issue
- Funzionalità
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 45/100