aws-samples / aws-samples/sample-autonomous-cloud-coding-agents

Tooling: Conformance fixtures — golden PEV trajectories per workflow

Offen
#508 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
enhancement tooling
Vorherrschende Sprache
TypeScript
Sterne
143
Forks
46
Ø Merge
3 T. 9 Std.
Gemergte PRs (30 T.)
20

Beschreibung

> **Roadmap:** Exposed project specifications; #236 eval harness
> **Priority:** P3

## Component

Other

## Describe the feature

Add `contracts/harness-trajectories/` with **golden fixtures** defining expected orchestrator/agent event sequences and terminal states for each shipped coding workflow. Enables harness-level conformance testing separate from model quality.

## Use case

- **ABCA Spec** claims conforming implementations pass golden trajectories.
- **CI** catches orchestrator/workflow regressions without live Bedrock.
- **Fork authors** validate alternative orchestrators against the same fixtures.

## Proposed solution

1. Directory layout:

```
contracts/harness-trajectories/
coding-new-task-v1.happy-path.json
coding-pr-iteration-v1.happy-path.json
coding-pr-review-v1.happy-path.json
README.md
```

2. Fixture schema: ordered `TaskEvent` types, required fields, terminal `status`, optional mocked agent responses.

3. Jest test in `cdk/test/contracts/` loads fixtures and validates against orchestrator simulation or recorded snapshots (no bundling live agent).

4. Link from harness glossary / ABCA Spec extension catalog.

### Acceptance criteria

- [ ] At least one golden trajectory per shipped coding workflow
- [ ] CI job fails on fixture regression
- [ ] README documents fixture schema and how to add scenarios (failure paths optional follow-up)
- [ ] No live AWS/Bedrock required in unit tests

## Other information

- **Enables:** Harness mutation regression suite issue
- **Related:** #236 eval harness, unified task replay API
- **Paper:** arXiv:2605.18747 replayability and harness-level eval

## Acknowledgements

- [ ] I may be able to implement this feature
- [ ] This might be a breaking change

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne mit der Prüfung der bestehenden Contract-Tests unter cdk/test/contracts/ und der ausgelieferten Coding-Workflows. Prüfe anschließend das vorgeschlagene Layout contracts/harness-trajectories/ sowie die zugehörigen Harness-Glossar- oder ABCA-Spec-Links. Erledigt ist die Aufgabe, wenn jeder ausgelieferte Workflow eine dokumentierte Golden-Trajektorie besitzt, die README das Schema und das Hinzufügen von Szenarien erklärt, CI Regressionen erkennt und Unit-Tests keine aktive Verbindung zu AWS oder Bedrock erfordern.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
typescript
Bereich
testing, tooling
Issue-Typ
Feature
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Ruhig
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
48/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.