modelcontextprotocol / modelcontextprotocol/conformance

Spec tracking check should validate the submitted SDK release, not first-release-after-spec

Đang mở
#167 3 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Ngôn ngữ chính
TypeScript
Star
127
Fork
101
Merge trung bình
6 ngày 1 giờ
Pull request đã merge (30 ngày)
7

Mô tả

Problem

The current spec tracking check (src/tier-check/checks/spec-tracking.ts) finds the first SDK release published after the latest spec release and measures the time gap between them. This doesn't validate anything meaningful for tiering:

  1. It doesn't know which SDK version is being submitted for evaluation
  2. The "first release after spec" could be a totally unrelated bugfix/patch
  3. It's disconnected from the spec version the submission claims conformance against

For example, the Java SDK tiering submission shows "9d gap" — but that just means some SDK release happened 9 days after the latest spec release, not that the submitted version (1.0.0) was released within 30 days of the spec version (2025-06-18) it's being evaluated against.

Proposed Change

The spec tracking check should:

  1. Accept the submitted SDK version (or release tag) as input
  2. Accept the target spec version being claimed
  3. Verify the submitted SDK release exists on GitHub
  4. Measure the gap between the target spec release date and the submitted SDK release date
  5. Pass if the SDK release was within 30 days of that spec version's release

This ties the check to the actual submission rather than being a context-free scrape of GitHub releases.

Context

Came up during review of the Java SDK Tier 2 assessment (https://github.com/modelcontextprotocol/modelcontextprotocol/issues/2301).

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Hướng nghiên cứu

Bắt đầu trong src/tier-check/checks/spec-tracking.ts và theo dõi cách tiering submission hiện cung cấp thông tin về release và spec. Xác định các đầu vào và luồng xác thực cần thiết cho submitted SDK release, sau đó kiểm tra rằng release tồn tại và khoảng cách được đo sử dụng spec version đã khai báo cùng ngưỡng 30 ngày; đánh giá Java SDK trong issue #2301 cung cấp trường hợp thúc đẩy việc này.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
github, typescript
Lĩnh vực
testing-qa
Loại issue
Tính năng
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Ít trao đổi
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
52/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.