aws-samples / aws-samples/sample-autonomous-cloud-coding-agents

Tooling: Conformance fixtures — golden PEV trajectories per workflow

Aperta
#508 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
enhancement tooling
Lingua principale
TypeScript
Stelle
143
Fork
46
Merge medio
3g 9h
PR unite (30g)
20

Descrizione

> **Roadmap:** Exposed project specifications; #236 eval harness
> **Priority:** P3

## Component

Other

## Describe the feature

Add `contracts/harness-trajectories/` with **golden fixtures** defining expected orchestrator/agent event sequences and terminal states for each shipped coding workflow. Enables harness-level conformance testing separate from model quality.

## Use case

- **ABCA Spec** claims conforming implementations pass golden trajectories.
- **CI** catches orchestrator/workflow regressions without live Bedrock.
- **Fork authors** validate alternative orchestrators against the same fixtures.

## Proposed solution

1. Directory layout:

```
contracts/harness-trajectories/
coding-new-task-v1.happy-path.json
coding-pr-iteration-v1.happy-path.json
coding-pr-review-v1.happy-path.json
README.md
```

2. Fixture schema: ordered `TaskEvent` types, required fields, terminal `status`, optional mocked agent responses.

3. Jest test in `cdk/test/contracts/` loads fixtures and validates against orchestrator simulation or recorded snapshots (no bundling live agent).

4. Link from harness glossary / ABCA Spec extension catalog.

### Acceptance criteria

- [ ] At least one golden trajectory per shipped coding workflow
- [ ] CI job fails on fixture regression
- [ ] README documents fixture schema and how to add scenarios (failure paths optional follow-up)
- [ ] No live AWS/Bedrock required in unit tests

## Other information

- **Enables:** Harness mutation regression suite issue
- **Related:** #236 eval harness, unified task replay API
- **Paper:** arXiv:2605.18747 replayability and harness-level eval

## Acknowledgements

- [ ] I may be able to implement this feature
- [ ] This might be a breaking change

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia ispezionando i contract test esistenti in cdk/test/contracts/ e i coding workflow distribuiti, quindi esamina il layout proposto contracts/harness-trajectories/ e i relativi link al glossario dell’harness o ad ABCA Spec. Il lavoro è completo quando ogni workflow distribuito ha una golden trajectory documentata, il README spiega lo schema e come aggiungere scenari, CI rileva le regressioni e gli unit test non richiedono AWS o Bedrock reali.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
typescript
Ambito
testing, tooling
Tipo di issue
Funzionalità
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Tranquilla
Chiarezza
Abbastanza chiara
Idoneità per principianti
48/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.