aws-samples / aws-samples/sample-autonomous-cloud-coding-agents
Tooling: Conformance fixtures — golden PEV trajectories per workflow
- Lenguaje dominante
- TypeScript
- Estrellas
- 143
- Forks
- 46
- Merge medio
- 3 d 10 h
- PR fusionados (30 d)
- 24
Descripción
> **Roadmap:** Exposed project specifications; #236 eval harness
> **Priority:** P3
## Component
Other
## Describe the feature
Add `contracts/harness-trajectories/` with **golden fixtures** defining expected orchestrator/agent event sequences and terminal states for each shipped coding workflow. Enables harness-level conformance testing separate from model quality.
## Use case
- **ABCA Spec** claims conforming implementations pass golden trajectories.
- **CI** catches orchestrator/workflow regressions without live Bedrock.
- **Fork authors** validate alternative orchestrators against the same fixtures.
## Proposed solution
1. Directory layout:
```
contracts/harness-trajectories/
coding-new-task-v1.happy-path.json
coding-pr-iteration-v1.happy-path.json
coding-pr-review-v1.happy-path.json
README.md
```
2. Fixture schema: ordered `TaskEvent` types, required fields, terminal `status`, optional mocked agent responses.
3. Jest test in `cdk/test/contracts/` loads fixtures and validates against orchestrator simulation or recorded snapshots (no bundling live agent).
4. Link from harness glossary / ABCA Spec extension catalog.
### Acceptance criteria
- [ ] At least one golden trajectory per shipped coding workflow
- [ ] CI job fails on fixture regression
- [ ] README documents fixture schema and how to add scenarios (failure paths optional follow-up)
- [ ] No live AWS/Bedrock required in unit tests
## Other information
- **Enables:** Harness mutation regression suite issue
- **Related:** #236 eval harness, unified task replay API
- **Paper:** arXiv:2605.18747 replayability and harness-level eval
## Acknowledgements
- [ ] I may be able to implement this feature
- [ ] This might be a breaking change
Guía de contribución
Línea de trabajo
Empieza inspeccionando las pruebas de contrato existentes en cdk/test/contracts/ y los workflows de coding incluidos; después revisa la estructura propuesta contracts/harness-trajectories/ y los enlaces relacionados al glosario del harness o a ABCA Spec. Se considera terminado cuando cada workflow incluido tiene una trayectoria dorada documentada, el README explica el esquema y cómo añadir escenarios, CI detecta regresiones y las pruebas unitarias no requieren AWS ni Bedrock en vivo.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- typescript
- Área
- testing, tooling
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Tranquilo
- Claridad
- Bastante claro
- Aptitud para principiantes
- 48/100