aws-samples / aws-samples/sample-autonomous-cloud-coding-agents
Tooling: Conformance fixtures — golden PEV trajectories per workflow
- Ngôn ngữ chính
- TypeScript
- Star
- 146
- Fork
- 46
- Merge trung bình
- 3 ngày 10 giờ
- Pull request đã merge (30 ngày)
- 24
Mô tả
> **Roadmap:** Exposed project specifications; #236 eval harness
> **Priority:** P3
## Component
Other
## Describe the feature
Add `contracts/harness-trajectories/` with **golden fixtures** defining expected orchestrator/agent event sequences and terminal states for each shipped coding workflow. Enables harness-level conformance testing separate from model quality.
## Use case
- **ABCA Spec** claims conforming implementations pass golden trajectories.
- **CI** catches orchestrator/workflow regressions without live Bedrock.
- **Fork authors** validate alternative orchestrators against the same fixtures.
## Proposed solution
1. Directory layout:
```
contracts/harness-trajectories/
coding-new-task-v1.happy-path.json
coding-pr-iteration-v1.happy-path.json
coding-pr-review-v1.happy-path.json
README.md
```
2. Fixture schema: ordered `TaskEvent` types, required fields, terminal `status`, optional mocked agent responses.
3. Jest test in `cdk/test/contracts/` loads fixtures and validates against orchestrator simulation or recorded snapshots (no bundling live agent).
4. Link from harness glossary / ABCA Spec extension catalog.
### Acceptance criteria
- [ ] At least one golden trajectory per shipped coding workflow
- [ ] CI job fails on fixture regression
- [ ] README documents fixture schema and how to add scenarios (failure paths optional follow-up)
- [ ] No live AWS/Bedrock required in unit tests
## Other information
- **Enables:** Harness mutation regression suite issue
- **Related:** #236 eval harness, unified task replay API
- **Paper:** arXiv:2605.18747 replayability and harness-level eval
## Acknowledgements
- [ ] I may be able to implement this feature
- [ ] This might be a breaking change
Hướng dẫn đóng góp
Hướng nghiên cứu
Bắt đầu bằng cách kiểm tra các contract test hiện có trong cdk/test/contracts/ và các coding workflow được cung cấp, sau đó xem xét layout được đề xuất contracts/harness-trajectories/ cùng các liên kết liên quan đến harness glossary hoặc ABCA Spec. Công việc được xem là hoàn tất khi mỗi workflow được cung cấp có một golden trajectory được lập tài liệu, README giải thích schema và cách thêm các scenario, CI phát hiện các regression, và unit test không yêu cầu AWS hoặc Bedrock đang hoạt động.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- typescript
- Lĩnh vực
- testing, tooling
- Loại issue
- Tính năng
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Ít trao đổi
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 48/100