aws-samples / aws-samples/sample-autonomous-cloud-coding-agents
Tooling: Conformance fixtures — golden PEV trajectories per workflow
- Vorherrschende Sprache
- TypeScript
- Sterne
- 143
- Forks
- 46
- Ø Merge
- 3 T. 9 Std.
- Gemergte PRs (30 T.)
- 20
Beschreibung
> **Roadmap:** Exposed project specifications; #236 eval harness
> **Priority:** P3
## Component
Other
## Describe the feature
Add `contracts/harness-trajectories/` with **golden fixtures** defining expected orchestrator/agent event sequences and terminal states for each shipped coding workflow. Enables harness-level conformance testing separate from model quality.
## Use case
- **ABCA Spec** claims conforming implementations pass golden trajectories.
- **CI** catches orchestrator/workflow regressions without live Bedrock.
- **Fork authors** validate alternative orchestrators against the same fixtures.
## Proposed solution
1. Directory layout:
```
contracts/harness-trajectories/
coding-new-task-v1.happy-path.json
coding-pr-iteration-v1.happy-path.json
coding-pr-review-v1.happy-path.json
README.md
```
2. Fixture schema: ordered `TaskEvent` types, required fields, terminal `status`, optional mocked agent responses.
3. Jest test in `cdk/test/contracts/` loads fixtures and validates against orchestrator simulation or recorded snapshots (no bundling live agent).
4. Link from harness glossary / ABCA Spec extension catalog.
### Acceptance criteria
- [ ] At least one golden trajectory per shipped coding workflow
- [ ] CI job fails on fixture regression
- [ ] README documents fixture schema and how to add scenarios (failure paths optional follow-up)
- [ ] No live AWS/Bedrock required in unit tests
## Other information
- **Enables:** Harness mutation regression suite issue
- **Related:** #236 eval harness, unified task replay API
- **Paper:** arXiv:2605.18747 replayability and harness-level eval
## Acknowledgements
- [ ] I may be able to implement this feature
- [ ] This might be a breaking change
Beitragsleitfaden
Rechercherichtung
Beginne mit der Prüfung der bestehenden Contract-Tests unter cdk/test/contracts/ und der ausgelieferten Coding-Workflows. Prüfe anschließend das vorgeschlagene Layout contracts/harness-trajectories/ sowie die zugehörigen Harness-Glossar- oder ABCA-Spec-Links. Erledigt ist die Aufgabe, wenn jeder ausgelieferte Workflow eine dokumentierte Golden-Trajektorie besitzt, die README das Schema und das Hinzufügen von Szenarien erklärt, CI Regressionen erkennt und Unit-Tests keine aktive Verbindung zu AWS oder Bedrock erfordern.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- typescript
- Bereich
- testing, tooling
- Issue-Typ
- Feature
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Ruhig
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 48/100