aws-samples / aws-samples/sample-autonomous-cloud-coding-agents
feat(observability): evaluation pipeline and validation/risk analytics
- 主要言語
- TypeScript
- スター
- 143
- フォーク
- 46
- 平均マージ
- 3日 10時間
- マージ済み PR(30日)
- 24
説明
**Context:** ROADMAP.md → Evaluation pipeline + Validation and risk analytics
**Related:** #412, #415, #237, pr-outcome-tracking draft
---
## Component
API or orchestration
## Describe the feature
Backend **evaluation pipeline**: failure categorization, memory effectiveness metrics (merge rate, revision cycles, CI pass rate), and dashboards for PR risk labels, validation outcomes, and trends by repo, user, and `prompt_version`.
## Use case
Operators adopting background agents need outcome-oriented metrics, not task counts. Product and platform teams need analytics to tune prompts, memory, and validation tiers.
## Proposed solution
1. Aggregate from Tasks table, `TaskEvents`, PR outcome tracking, and validation tier outputs.
2. CloudWatch metrics + operator dashboard widgets (extend existing dashboard construct).
3. Optional `GET /analytics/...` or export API (align with #237 governance planes).
4. Eventually feed learned memory rules into Tier 2 validation when tiered pipeline ships.
5. Document metric definitions in `docs/design/EVALUATION.md`.
## Other information
- #412 covers CLI `bgagent stats`; this issue covers **backend aggregation and dashboards**.
- Design context: `docs/design/EVALUATION.md`, `docs/design/OBSERVABILITY.md`.
- [ ] This might be a breaking change
コントリビューションガイド
調査の方向性
まず ROADMAP.md と docs/design/EVALUATION.md および docs/design/OBSERVABILITY.md の設計コンテキストを読み、次に既存のダッシュボード construct と、Tasks、TaskEvents、PR outcome、validation-tier のデータソースを調査します。合意された backend evaluation aggregates と CloudWatch/operator dashboard coverage が実装され、メトリクス定義が docs/design/EVALUATION.md に文書化されていれば完了です。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- aws, typescript
- 領域
- analytics, backend, observability
- issue の種類
- 機能追加
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 活発さ
- 静か
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 35/100