modelcontextprotocol / modelcontextprotocol/conformance
Spec tracking check should validate the submitted SDK release, not first-release-after-spec
Nadie ha tomado este issue todavía.
- Lenguaje dominante
- TypeScript
- Estrellas
- 127
- Forks
- 101
- Merge medio
- 6 d 1 h
- PR fusionados (30 d)
- 7
Descripción
Problem
The current spec tracking check (src/tier-check/checks/spec-tracking.ts) finds the first SDK release published after the latest spec release and measures the time gap between them. This doesn't validate anything meaningful for tiering:
- It doesn't know which SDK version is being submitted for evaluation
- The "first release after spec" could be a totally unrelated bugfix/patch
- It's disconnected from the spec version the submission claims conformance against
For example, the Java SDK tiering submission shows "9d gap" — but that just means some SDK release happened 9 days after the latest spec release, not that the submitted version (1.0.0) was released within 30 days of the spec version (2025-06-18) it's being evaluated against.
Proposed Change
The spec tracking check should:
- Accept the submitted SDK version (or release tag) as input
- Accept the target spec version being claimed
- Verify the submitted SDK release exists on GitHub
- Measure the gap between the target spec release date and the submitted SDK release date
- Pass if the SDK release was within 30 days of that spec version's release
This ties the check to the actual submission rather than being a context-free scrape of GitHub releases.
Context
Came up during review of the Java SDK Tier 2 assessment (https://github.com/modelcontextprotocol/modelcontextprotocol/issues/2301).
Guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Línea de trabajo
Empieza en src/tier-check/checks/spec-tracking.ts y sigue cómo la presentación de tiering proporciona actualmente la información de release y de la especificación. Define las entradas y el flujo de validación necesarios para el release del SDK enviado; después, verifica que el release existe y que la brecha medida utiliza la versión de la especificación indicada y el umbral de 30 días; la evaluación del Java SDK en issue #2301 proporciona el caso motivador.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- github, typescript
- Área
- testing-qa
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Tranquilo
- Claridad
- Bastante claro
- Aptitud para principiantes
- 52/100