[Observation]: Copilot SDK 1.0.x is less willing to load skills
- Ngôn ngữ chính
- Java
- Star
- 10.5k
- Fork
- 1.5k
- Merge trung bình
- 1 ngày 11 giờ
- Pull request đã merge (30 ngày)
- 128
Mô tả
My team has recently upgraded Copilot SDK from 0.3.x to 1.0.x for running a few fixed scenarios to track the agent behavior with our skills. We give the agent a generic documentation tool that searches in MS Learn and skills with service oriented instructions. We noticed that after upgrading to Copilot SDK 1.0.x, the agent shows a much higher likelihood to use documentation tools instead of loading a skill. This is not an ideal behavior. Local skills are usually knowledge the user creates to override the generic knowledge in the training data or public documentation. They are also usually more efficient in token usage.
Hướng dẫn đóng góp
Hướng nghiên cứu
Không có tệp, bài kiểm thử hoặc điểm vào nào được nêu. Hãy bắt đầu bằng cách tái hiện các kịch bản cố định trên Copilot SDK 0.3.x và 1.0.x bằng công cụ tài liệu MS Learn và các skill cục bộ, sau đó xác định khi nào việc tải skill bị bỏ qua. Công việc được xem là hoàn tất khi đã thống nhất về thứ tự ưu tiên dự kiến và xác định được một vị trí cụ thể để xác thực hoặc thay đổi hành vi đó.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Lĩnh vực
- ai
- Loại issue
- Lỗi
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức độ hoạt động
- Ít trao đổi
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 35/100