github / github/copilot-sdk

[Observation]: Copilot SDK 1.0.x is less willing to load skills

Đang mở
#1,747 2 bình luận 0 reaction 0 người được giao Xem trên GitHub
documentation
Ngôn ngữ chính
Java
Star
10.5k
Fork
1.5k
Merge trung bình
1 ngày 11 giờ
Pull request đã merge (30 ngày)
128

Mô tả

My team has recently upgraded Copilot SDK from 0.3.x to 1.0.x for running a few fixed scenarios to track the agent behavior with our skills. We give the agent a generic documentation tool that searches in MS Learn and skills with service oriented instructions. We noticed that after upgrading to Copilot SDK 1.0.x, the agent shows a much higher likelihood to use documentation tools instead of loading a skill. This is not an ideal behavior. Local skills are usually knowledge the user creates to override the generic knowledge in the training data or public documentation. They are also usually more efficient in token usage.

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Không có tệp, bài kiểm thử hoặc điểm vào nào được nêu. Hãy bắt đầu bằng cách tái hiện các kịch bản cố định trên Copilot SDK 0.3.x và 1.0.x bằng công cụ tài liệu MS Learn và các skill cục bộ, sau đó xác định khi nào việc tải skill bị bỏ qua. Công việc được xem là hoàn tất khi đã thống nhất về thứ tự ưu tiên dự kiến và xác định được một vị trí cụ thể để xác thực hoặc thay đổi hành vi đó.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Lĩnh vực
ai
Loại issue
Lỗi
Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức độ hoạt động
Ít trao đổi
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.