ProjectTech4DevAI / ProjectTech4DevAI/kaapi-frontend

Evaluation UI: Model Config

Offen
#8 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

enhancement
Vorherrschende Sprache
TypeScript
Sterne
1
Forks
0
Ø Merge
10 Std. 40 Min.
Gemergte PRs (30 T.)
4

Beschreibung

Is your feature request related to a problem?

The current evaluation config only supports basic options: model name, vector store ID, and system prompt. However, different models have different configuration parameters—newer models support reasoning and verbosity, while older models use temperature and top_p.
This limits our ability to properly evaluate models with their optimal settings.

Describe the solution you'd like

Add support for model-specific configuration options in the evaluation config:

  • Newer models: reasoning, verbosity
  • Older models: temperature, top_p, max_tokens

This would:

  • Allow evaluations with model-appropriate parameters
  • Enable testing different config combinations (e.g., high vs low temperature)

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Erste Schritte

  1. Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
  3. Forke das Repository und arbeite in einem Branch.
  4. Öffne einen Pull Request, der die Issue-Nummer nennt.

Rechercherichtung

Es werden keine Dateien oder Tests genannt. Beginne damit, die UI für die Evaluierungskonfiguration und den Code zu finden, der die Modellkonfiguration erstellt, und verfolge dann, wie der aktuelle Modellname, die Vektorspeicher-ID und der System-Prompt verarbeitet werden. Erledigt ist die Aufgabe, wenn Reasoning-, Verbosity-, Temperature-, top_p- und max_tokens-Optionen spezifisch für das Modell für Evaluierungen konfiguriert werden können, einschließlich verschiedener Kombinationen.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
typescript
Bereich
frontend
Issue-Typ
Feature
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
45/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.