aws-samples / aws-samples/sample-autonomous-cloud-coding-agents

Tooling: Harness mutation regression suite for workflow and policy changes

Offen
#512 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
enhancement P2 tooling
Vorherrschende Sprache
TypeScript
Sterne
143
Forks
46
Ø Merge
3 T. 10 Std.
Gemergte PRs (30 T.)
24

Beschreibung

> **Roadmap:** Exposed project specifications; workflow promotion gate
> **Priority:** P2

## Component

Other

## Describe the feature

CI regression suite that treats **harness mutations** (workflow YAML, Cedar policies, contract fixtures) like safety-critical code changes. On changes to `agent/workflows/**`, `agent/policies/**`, or `contracts/**`, run golden trajectory fixtures and cedar-parity tests; fail on event-order, policy decision, or terminal-state regressions.

Implements arXiv:2605.18747 §5.2.3: harness edits require held-out regression suites and rollback discipline.

## Use case

- **Contributors** changing workflows or Cedar rules get immediate feedback before deploy.
- **Workflow promotion** (`draft → production`) gains an automated gate beyond unit tests.
- **Operators** forking workflows have a template for their own regression fixtures.

## Proposed solution

1. Depends on golden PEV trajectory fixtures (`contracts/harness-trajectories/` — separate issue).

2. GitHub Actions job (or extend existing build workflow):
- Trigger paths: `agent/workflows/**`, `agent/policies/**`, `contracts/**`
- Run: workflow-validation, cedar-parity, golden trajectory diff
- Output: fixture diff on failure

3. Document operator expectation: production workflow changes require green regression suite.

### Acceptance criteria

- [ ] CI job triggers on harness-relevant path changes
- [ ] Fails with actionable diff when golden trajectory or cedar-parity regresses
- [ ] Documented in `CONTRIBUTING.md` or developer guide
- [ ] Works without live Bedrock (mocked agent/orchestrator responses)

## Other information

- **Blocked by (soft):** Conformance golden PEV trajectories issue
- **Related:** Workflow promotion gate in `WORKFLOWS.md`
- **Paper:** arXiv:2605.18747 §3.5, §5.2.3 governed harness mutation

## Acknowledgements

- [ ] I may be able to implement this feature
- [ ] This might be a breaking change

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Untersuche die Änderungen unter agent/workflows/**, agent/policies/** und contracts/** und überprüfe anschließend den bestehenden build workflow sowie die zugehörigen Beförderungsrichtlinien in WORKFLOWS.md. Das separate contracts/harness-trajectories-Issue ist eine Abhängigkeit; für den Abschluss sind durch Pfade ausgelöste CI, workflow-validation-, cedar-parity- und golden trajectory-Prüfungen mit aussagekräftigen Diffs, gemockten Antworten und Dokumentation in CONTRIBUTING.md oder im Entwicklerhandbuch erforderlich.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
github-actions, yaml
Bereich
ci-cd, devops, testing
Issue-Typ
Feature
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Ruhig
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
48/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.