aws-samples / aws-samples/sample-autonomous-cloud-coding-agents
Tooling: Conformance fixtures — golden PEV trajectories per workflow
- 主要言語
- TypeScript
- スター
- 143
- フォーク
- 46
- 平均マージ
- 3日 10時間
- マージ済み PR(30日)
- 24
説明
> **Roadmap:** Exposed project specifications; #236 eval harness
> **Priority:** P3
## Component
Other
## Describe the feature
Add `contracts/harness-trajectories/` with **golden fixtures** defining expected orchestrator/agent event sequences and terminal states for each shipped coding workflow. Enables harness-level conformance testing separate from model quality.
## Use case
- **ABCA Spec** claims conforming implementations pass golden trajectories.
- **CI** catches orchestrator/workflow regressions without live Bedrock.
- **Fork authors** validate alternative orchestrators against the same fixtures.
## Proposed solution
1. Directory layout:
```
contracts/harness-trajectories/
coding-new-task-v1.happy-path.json
coding-pr-iteration-v1.happy-path.json
coding-pr-review-v1.happy-path.json
README.md
```
2. Fixture schema: ordered `TaskEvent` types, required fields, terminal `status`, optional mocked agent responses.
3. Jest test in `cdk/test/contracts/` loads fixtures and validates against orchestrator simulation or recorded snapshots (no bundling live agent).
4. Link from harness glossary / ABCA Spec extension catalog.
### Acceptance criteria
- [ ] At least one golden trajectory per shipped coding workflow
- [ ] CI job fails on fixture regression
- [ ] README documents fixture schema and how to add scenarios (failure paths optional follow-up)
- [ ] No live AWS/Bedrock required in unit tests
## Other information
- **Enables:** Harness mutation regression suite issue
- **Related:** #236 eval harness, unified task replay API
- **Paper:** arXiv:2605.18747 replayability and harness-level eval
## Acknowledgements
- [ ] I may be able to implement this feature
- [ ] This might be a breaking change
コントリビューションガイド
調査の方向性
まず cdk/test/contracts/ にある既存のコントラクトテストと、同梱されているコーディングワークフローを調査し、次に提案されている contracts/harness-trajectories/ のレイアウトと、関連する harness glossary または ABCA Spec のリンクを確認します。各同梱ワークフローに文書化された golden trajectory があり、README がスキーマとシナリオの追加方法を説明し、CI がリグレッションを検出し、ユニットテストが実際の AWS や Bedrock を必要としなければ完了です。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- typescript
- 領域
- testing, tooling
- issue の種類
- 機能追加
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 静か
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 48/100