ProjectTech4DevAI / ProjectTech4DevAI/kaapi-frontend

Evaluation UI: Model Config

Đang mở
#8 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

enhancement
Ngôn ngữ chính
TypeScript
Star
1
Fork
0
Merge trung bình
10 giờ 40 phút
Pull request đã merge (30 ngày)
4

Mô tả

Is your feature request related to a problem?

The current evaluation config only supports basic options: model name, vector store ID, and system prompt. However, different models have different configuration parameters—newer models support reasoning and verbosity, while older models use temperature and top_p.
This limits our ability to properly evaluate models with their optimal settings.

Describe the solution you'd like

Add support for model-specific configuration options in the evaluation config:

  • Newer models: reasoning, verbosity
  • Older models: temperature, top_p, max_tokens

This would:

  • Allow evaluations with model-appropriate parameters
  • Enable testing different config combinations (e.g., high vs low temperature)

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Hướng nghiên cứu

Không có tệp hoặc bài kiểm thử nào được nêu tên. Hãy bắt đầu bằng cách xác định UI cấu hình đánh giá và mã xây dựng cấu hình model, sau đó lần theo cách tên model hiện tại, ID vector store và system prompt đang được xử lý. Công việc được hoàn thành khi có thể cấu hình các tùy chọn reasoning, verbosity, temperature, top_p và max_tokens dành riêng cho từng model trong các bài đánh giá, bao gồm cả những tổ hợp khác nhau.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
typescript
Lĩnh vực
frontend
Loại issue
Tính năng
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
45/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.