aws-samples / aws-samples/sample-autonomous-cloud-coding-agents

feat(observability): evaluation pipeline and validation/risk analytics

オープン
#451 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る
enhancement observability orchestration
主要言語
TypeScript
スター
143
フォーク
46
平均マージ
3日 10時間
マージ済み PR(30日)
24

説明

**Context:** ROADMAP.md → Evaluation pipeline + Validation and risk analytics
**Related:** #412, #415, #237, pr-outcome-tracking draft

---

## Component

API or orchestration

## Describe the feature

Backend **evaluation pipeline**: failure categorization, memory effectiveness metrics (merge rate, revision cycles, CI pass rate), and dashboards for PR risk labels, validation outcomes, and trends by repo, user, and `prompt_version`.

## Use case

Operators adopting background agents need outcome-oriented metrics, not task counts. Product and platform teams need analytics to tune prompts, memory, and validation tiers.

## Proposed solution

1. Aggregate from Tasks table, `TaskEvents`, PR outcome tracking, and validation tier outputs.
2. CloudWatch metrics + operator dashboard widgets (extend existing dashboard construct).
3. Optional `GET /analytics/...` or export API (align with #237 governance planes).
4. Eventually feed learned memory rules into Tier 2 validation when tiered pipeline ships.
5. Document metric definitions in `docs/design/EVALUATION.md`.

## Other information

- #412 covers CLI `bgagent stats`; this issue covers **backend aggregation and dashboards**.
- Design context: `docs/design/EVALUATION.md`, `docs/design/OBSERVABILITY.md`.

- [ ] This might be a breaking change

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

まず ROADMAP.md と docs/design/EVALUATION.md および docs/design/OBSERVABILITY.md の設計コンテキストを読み、次に既存のダッシュボード construct と、Tasks、TaskEvents、PR outcome、validation-tier のデータソースを調査します。合意された backend evaluation aggregates と CloudWatch/operator dashboard coverage が実装され、メトリクス定義が docs/design/EVALUATION.md に文書化されていれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
aws, typescript
領域
analytics, backend, observability
issue の種類
機能追加
難易度
5/5
見積もり時間
1週間以上
活発さ
静か
明瞭さ
おおむね明確
初心者へのやさしさ
35/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。