aws-samples / aws-samples/sample-autonomous-cloud-coding-agents
Tooling: Conformance fixtures — golden PEV trajectories per workflow
- Langage dominant
- TypeScript
- Étoiles
- 143
- Forks
- 46
- Merge moyen
- 3 j 10 h
- PR mergées (30 j)
- 24
Description
> **Roadmap:** Exposed project specifications; #236 eval harness
> **Priority:** P3
## Component
Other
## Describe the feature
Add `contracts/harness-trajectories/` with **golden fixtures** defining expected orchestrator/agent event sequences and terminal states for each shipped coding workflow. Enables harness-level conformance testing separate from model quality.
## Use case
- **ABCA Spec** claims conforming implementations pass golden trajectories.
- **CI** catches orchestrator/workflow regressions without live Bedrock.
- **Fork authors** validate alternative orchestrators against the same fixtures.
## Proposed solution
1. Directory layout:
```
contracts/harness-trajectories/
coding-new-task-v1.happy-path.json
coding-pr-iteration-v1.happy-path.json
coding-pr-review-v1.happy-path.json
README.md
```
2. Fixture schema: ordered `TaskEvent` types, required fields, terminal `status`, optional mocked agent responses.
3. Jest test in `cdk/test/contracts/` loads fixtures and validates against orchestrator simulation or recorded snapshots (no bundling live agent).
4. Link from harness glossary / ABCA Spec extension catalog.
### Acceptance criteria
- [ ] At least one golden trajectory per shipped coding workflow
- [ ] CI job fails on fixture regression
- [ ] README documents fixture schema and how to add scenarios (failure paths optional follow-up)
- [ ] No live AWS/Bedrock required in unit tests
## Other information
- **Enables:** Harness mutation regression suite issue
- **Related:** #236 eval harness, unified task replay API
- **Paper:** arXiv:2605.18747 replayability and harness-level eval
## Acknowledgements
- [ ] I may be able to implement this feature
- [ ] This might be a breaking change
Guide de contribution
Ouvrir le guide de contribution
Piste de recherche
Commencez par inspecter les tests de contrat existants sous cdk/test/contracts/ ainsi que les workflows de coding fournis, puis examinez la structure proposée contracts/harness-trajectories/ et les liens associés au glossaire du harness ou à ABCA Spec. C’est terminé lorsque chaque workflow fourni dispose d’une trajectoire dorée documentée, que le README explique le schéma et l’ajout de scénarios, que CI détecte les régressions et que les tests unitaires ne nécessitent ni AWS ni Bedrock réels.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- typescript
- Domaine
- testing, tooling
- Type d'issue
- Fonctionnalité
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Activité
- Calme
- Clarté
- Plutôt claire
- Accessibilité débutants
- 48/100