modelcontextprotocol / modelcontextprotocol/conformance
Spec tracking check should validate the submitted SDK release, not first-release-after-spec
Nessuno ha ancora preso questa issue.
- Lingua principale
- TypeScript
- Stelle
- 127
- Fork
- 101
- Merge medio
- 6g 1h
- PR unite (30g)
- 7
Descrizione
Problem
The current spec tracking check (src/tier-check/checks/spec-tracking.ts) finds the first SDK release published after the latest spec release and measures the time gap between them. This doesn't validate anything meaningful for tiering:
- It doesn't know which SDK version is being submitted for evaluation
- The "first release after spec" could be a totally unrelated bugfix/patch
- It's disconnected from the spec version the submission claims conformance against
For example, the Java SDK tiering submission shows "9d gap" — but that just means some SDK release happened 9 days after the latest spec release, not that the submitted version (1.0.0) was released within 30 days of the spec version (2025-06-18) it's being evaluated against.
Proposed Change
The spec tracking check should:
- Accept the submitted SDK version (or release tag) as input
- Accept the target spec version being claimed
- Verify the submitted SDK release exists on GitHub
- Measure the gap between the target spec release date and the submitted SDK release date
- Pass if the SDK release was within 30 days of that spec version's release
This ties the check to the actual submission rather than being a context-free scrape of GitHub releases.
Context
Came up during review of the Java SDK Tier 2 assessment (https://github.com/modelcontextprotocol/modelcontextprotocol/issues/2301).
Guida per i contributori
Apri la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Direzione di ricerca
Inizia da src/tier-check/checks/spec-tracking.ts e traccia il modo in cui la submission di tiering fornisce attualmente le informazioni sulla release e sulla specifica. Definisci gli input e il flusso di validazione necessari per la release dell'SDK inviata, quindi verifica che la release esista e che il gap misurato utilizzi la versione della specifica dichiarata e la soglia di 30 giorni; la valutazione del Java SDK in issue #2301 fornisce il caso motivante.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- github, typescript
- Ambito
- testing-qa
- Tipo di issue
- Funzionalità
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Tranquilla
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 52/100