aaif-goose / aaif-goose/goose

Set request params per model settings in recipe

Đang mở
#9,610 2 bình luận 0 reaction 1 người được giao Được @filipkujawa nhận Xem trên GitHub
Ngôn ngữ chính
Rust
Star
54.2k
Fork
6.2k
Merge trung bình
3 ngày 4 giờ
Pull request đã merge (30 ngày)
240

Mô tả

**Please explain the motivation behind the feature request.**
Right now one can only customize [temperature](https://github.com/aaif-goose/goose/blob/main/crates/goose/src/recipe/mod.rs#L107) for model responsible for driving recipe. There is no way to set however `reasoning_effort` or other (like `top_k` or `top_p` for open weights models) params. There is benefit in tweaking those per-recipe instead of going with global `GOOSE_PREDEFINED_MODELS`, as various recipes might benefit from different model tuning.

**Describe the solution you'd like**
Ideally model settings in recipe accept `request_params`.
From what I see that could be plugged in goose-clii [there](https://github.com/aaif-goose/goose/blob/main/crates/goose-cli/src/session/builder.rs#L232-L292).

**Describe alternatives you've considered**
One can workaround current limitation with having proxy between goose and provider(s) to provide model aliases so that via `GOOSE_PREDEFINED_MODELS` (or proxy alone) one could map those tweaks uniquely. That is however cumbersome and as far as understand will not work with ACP providers.

- [x] I have verified this does not duplicate an existing feature request

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Issue này chỉ đến crates/goose/src/recipe/mod.rs cho thiết lập temperature hiện tại và crates/goose-cli/src/session/builder.rs cho vị trí có thể tích hợp request_params. Trước tiên, hãy kiểm tra struct ModelSettings trong module recipe để thêm một trường request_params. Sau đó, làm theo pattern builder trong session/builder.rs để truyền các tham số này vào request của model. Kiểm tra các test hiện có về cấu hình model để đảm bảo tính tương thích.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
rust
Lĩnh vực
ai-infra-agents, backend-api-design
Loại issue
Tính năng
Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức độ hoạt động
Sôi nổi
Độ rõ ràng
Đặc tả rõ ràng
Mức phù hợp với người mới
65/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.