modelcontextprotocol / modelcontextprotocol/conformance
Spec tracking check should validate the submitted SDK release, not first-release-after-spec
Chưa có ai nhận issue này.
- Ngôn ngữ chính
- TypeScript
- Star
- 127
- Fork
- 101
- Merge trung bình
- 6 ngày 1 giờ
- Pull request đã merge (30 ngày)
- 7
Mô tả
Problem
The current spec tracking check (src/tier-check/checks/spec-tracking.ts) finds the first SDK release published after the latest spec release and measures the time gap between them. This doesn't validate anything meaningful for tiering:
- It doesn't know which SDK version is being submitted for evaluation
- The "first release after spec" could be a totally unrelated bugfix/patch
- It's disconnected from the spec version the submission claims conformance against
For example, the Java SDK tiering submission shows "9d gap" — but that just means some SDK release happened 9 days after the latest spec release, not that the submitted version (1.0.0) was released within 30 days of the spec version (2025-06-18) it's being evaluated against.
Proposed Change
The spec tracking check should:
- Accept the submitted SDK version (or release tag) as input
- Accept the target spec version being claimed
- Verify the submitted SDK release exists on GitHub
- Measure the gap between the target spec release date and the submitted SDK release date
- Pass if the SDK release was within 30 days of that spec version's release
This ties the check to the actual submission rather than being a context-free scrape of GitHub releases.
Context
Came up during review of the Java SDK Tier 2 assessment (https://github.com/modelcontextprotocol/modelcontextprotocol/issues/2301).
Hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Hướng nghiên cứu
Bắt đầu trong src/tier-check/checks/spec-tracking.ts và theo dõi cách tiering submission hiện cung cấp thông tin về release và spec. Xác định các đầu vào và luồng xác thực cần thiết cho submitted SDK release, sau đó kiểm tra rằng release tồn tại và khoảng cách được đo sử dụng spec version đã khai báo cùng ngưỡng 30 ngày; đánh giá Java SDK trong issue #2301 cung cấp trường hợp thúc đẩy việc này.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- github, typescript
- Lĩnh vực
- testing-qa
- Loại issue
- Tính năng
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Ít trao đổi
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 52/100