modelcontextprotocol / modelcontextprotocol/conformance

Spec tracking check should validate the submitted SDK release, not first-release-after-spec

Abierto
#167 3 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Lenguaje dominante
TypeScript
Estrellas
127
Forks
101
Merge medio
6 d 1 h
PR fusionados (30 d)
7

Descripción

Problem

The current spec tracking check (src/tier-check/checks/spec-tracking.ts) finds the first SDK release published after the latest spec release and measures the time gap between them. This doesn't validate anything meaningful for tiering:

  1. It doesn't know which SDK version is being submitted for evaluation
  2. The "first release after spec" could be a totally unrelated bugfix/patch
  3. It's disconnected from the spec version the submission claims conformance against

For example, the Java SDK tiering submission shows "9d gap" — but that just means some SDK release happened 9 days after the latest spec release, not that the submitted version (1.0.0) was released within 30 days of the spec version (2025-06-18) it's being evaluated against.

Proposed Change

The spec tracking check should:

  1. Accept the submitted SDK version (or release tag) as input
  2. Accept the target spec version being claimed
  3. Verify the submitted SDK release exists on GitHub
  4. Measure the gap between the target spec release date and the submitted SDK release date
  5. Pass if the SDK release was within 30 days of that spec version's release

This ties the check to the actual submission rather than being a context-free scrape of GitHub releases.

Context

Came up during review of the Java SDK Tier 2 assessment (https://github.com/modelcontextprotocol/modelcontextprotocol/issues/2301).

Guía de contribución

Abrir la guía de contribución

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Línea de trabajo

Empieza en src/tier-check/checks/spec-tracking.ts y sigue cómo la presentación de tiering proporciona actualmente la información de release y de la especificación. Define las entradas y el flujo de validación necesarios para el release del SDK enviado; después, verifica que el release existe y que la brecha medida utiliza la versión de la especificación indicada y el umbral de 30 días; la evaluación del Java SDK en issue #2301 proporciona el caso motivador.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
github, typescript
Área
testing-qa
Tipo de issue
Nueva funcionalidad
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Tranquilo
Claridad
Bastante claro
Aptitud para principiantes
52/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.