ProjectTech4DevAI / ProjectTech4DevAI/kaapi-frontend
Evaluation UI: Model Config
Dieses Issue hat noch niemand übernommen.
- Vorherrschende Sprache
- TypeScript
- Sterne
- 1
- Forks
- 0
- Ø Merge
- 10 Std. 40 Min.
- Gemergte PRs (30 T.)
- 4
Beschreibung
Is your feature request related to a problem?
The current evaluation config only supports basic options: model name, vector store ID, and system prompt. However, different models have different configuration parameters—newer models support reasoning and verbosity, while older models use temperature and top_p.
This limits our ability to properly evaluate models with their optimal settings.
Describe the solution you'd like
Add support for model-specific configuration options in the evaluation config:
- Newer models: reasoning, verbosity
- Older models: temperature, top_p, max_tokens
This would:
- Allow evaluations with model-appropriate parameters
- Enable testing different config combinations (e.g., high vs low temperature)
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Es werden keine Dateien oder Tests genannt. Beginne damit, die UI für die Evaluierungskonfiguration und den Code zu finden, der die Modellkonfiguration erstellt, und verfolge dann, wie der aktuelle Modellname, die Vektorspeicher-ID und der System-Prompt verarbeitet werden. Erledigt ist die Aufgabe, wenn Reasoning-, Verbosity-, Temperature-, top_p- und max_tokens-Optionen spezifisch für das Modell für Evaluierungen konfiguriert werden können, einschließlich verschiedener Kombinationen.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- typescript
- Bereich
- frontend
- Issue-Typ
- Feature
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 45/100