aws-samples / aws-samples/sample-autonomous-cloud-coding-agents

Tooling: Conformance fixtures — golden PEV trajectories per workflow

Ouverte
#508 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
enhancement tooling
Langage dominant
TypeScript
Étoiles
143
Forks
46
Merge moyen
3 j 10 h
PR mergées (30 j)
24

Description

> **Roadmap:** Exposed project specifications; #236 eval harness
> **Priority:** P3

## Component

Other

## Describe the feature

Add `contracts/harness-trajectories/` with **golden fixtures** defining expected orchestrator/agent event sequences and terminal states for each shipped coding workflow. Enables harness-level conformance testing separate from model quality.

## Use case

- **ABCA Spec** claims conforming implementations pass golden trajectories.
- **CI** catches orchestrator/workflow regressions without live Bedrock.
- **Fork authors** validate alternative orchestrators against the same fixtures.

## Proposed solution

1. Directory layout:

```
contracts/harness-trajectories/
coding-new-task-v1.happy-path.json
coding-pr-iteration-v1.happy-path.json
coding-pr-review-v1.happy-path.json
README.md
```

2. Fixture schema: ordered `TaskEvent` types, required fields, terminal `status`, optional mocked agent responses.

3. Jest test in `cdk/test/contracts/` loads fixtures and validates against orchestrator simulation or recorded snapshots (no bundling live agent).

4. Link from harness glossary / ABCA Spec extension catalog.

### Acceptance criteria

- [ ] At least one golden trajectory per shipped coding workflow
- [ ] CI job fails on fixture regression
- [ ] README documents fixture schema and how to add scenarios (failure paths optional follow-up)
- [ ] No live AWS/Bedrock required in unit tests

## Other information

- **Enables:** Harness mutation regression suite issue
- **Related:** #236 eval harness, unified task replay API
- **Paper:** arXiv:2605.18747 replayability and harness-level eval

## Acknowledgements

- [ ] I may be able to implement this feature
- [ ] This might be a breaking change

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

Commencez par inspecter les tests de contrat existants sous cdk/test/contracts/ ainsi que les workflows de coding fournis, puis examinez la structure proposée contracts/harness-trajectories/ et les liens associés au glossaire du harness ou à ABCA Spec. C’est terminé lorsque chaque workflow fourni dispose d’une trajectoire dorée documentée, que le README explique le schéma et l’ajout de scénarios, que CI détecte les régressions et que les tests unitaires ne nécessitent ni AWS ni Bedrock réels.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
typescript
Domaine
testing, tooling
Type d'issue
Fonctionnalité
Difficulté
4/5
Temps estimé
3-5 jours
Activité
Calme
Clarté
Plutôt claire
Accessibilité débutants
48/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.