aws-samples / aws-samples/sample-autonomous-cloud-coding-agents
CDK: Harness-level SLO metrics on operator dashboard
- Ngôn ngữ chính
- TypeScript
- Star
- 143
- Fork
- 46
- Merge trung bình
- 3 ngày 10 giờ
- Pull request đã merge (30 ngày)
- 24
Mô tả
> **Roadmap:** Evaluation pipeline; Validation and risk analytics
> **Priority:** P1
## Component
CDK / infrastructure
## Describe the feature
Emit **harness-level** CloudWatch metrics and dashboard panels that evaluate the control plane/runtime separately from raw task pass/fail. Final task success conflates model quality, harness quality, and environment luck (arXiv:2605.18747 §5.2.1).
## Use case
- **Operators/SREs** track whether the platform is getting more reliable independent of model upgrades.
- **Field engagements** report dark-factory scorecard progress with objective harness SLOs.
- **A/B prompt experiments** isolate prompt changes from harness regressions.
## Proposed solution
Define and emit metrics (names illustrative; finalize in implementation):
| Metric | Definition |
|--------|------------|
| `HarnessToolCallsPerTask` | Agent tool invocations per completed task |
| `HarnessTokensPerTask` | Bedrock tokens (from existing cost telemetry) |
| `HarnessWallClockSeconds` | Submit → terminal |
| `HarnessVerificationCoverage` | % tasks with full evidence bundle / all required sensors run |
| `HarnessRecoveryRate` | % tasks that failed verify then succeeded on retry (when fix-up loop exists) |
| `HarnessReplayCompleteness` | % tasks with TaskEvents + trace URI + prompt_version |
Add widgets to the existing operator dashboard construct; document dimensions (`repo`, `workflow_ref`, `prompt_version`) without PII.
### Acceptance criteria
- [ ] Metrics emitted from orchestrator and/or agent telemetry path
- [ ] Dashboard panels added to operator dashboard (CDK)
- [ ] Documented in `docs/design/OBSERVABILITY.md` with metric definitions
- [ ] Referenced from dark-factory scorecard / `ABCA_V2.md` success metrics where appropriate
- [ ] No new PII dimensions in metric labels
## Other information
- **Depends on (soft):** Verification evidence bundles for `VerificationCoverage`
- **Paper:** arXiv:2605.18747 §5.2.1 harness-level evaluation dimensions
- **Existing:** Operator dashboard, OTEL spans, TaskEvents (shipped)
## Acknowledgements
- [ ] I may be able to implement this feature
- [ ] This might be a breaking change
Hướng dẫn đóng góp
Hướng nghiên cứu
Bắt đầu với cấu trúc operator dashboard hiện có và đường dẫn telemetry của orchestrator hoặc agent, sau đó xem xét các OTEL span, TaskEvents và cost telemetry hiện có. Xác định các harness metrics và các dimension không chứa PII, thêm các dashboard panel, ghi lại chúng trong docs/design/OBSERVABILITY.md và cập nhật các success metrics của dark-factory scorecard hoặc ABCA_V2.md khi phù hợp.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- aws, typescript
- Lĩnh vực
- cloud, infrastructure, observability-sre
- Loại issue
- Tính năng
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Ít trao đổi
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 48/100