aws-samples / aws-samples/sample-autonomous-cloud-coding-agents

feat(observability): evaluation pipeline and validation/risk analytics

Offen
#451 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
enhancement observability orchestration
Vorherrschende Sprache
TypeScript
Sterne
143
Forks
46
Ø Merge
3 T. 9 Std.
Gemergte PRs (30 T.)
20

Beschreibung

**Context:** ROADMAP.md → Evaluation pipeline + Validation and risk analytics
**Related:** #412, #415, #237, pr-outcome-tracking draft

---

## Component

API or orchestration

## Describe the feature

Backend **evaluation pipeline**: failure categorization, memory effectiveness metrics (merge rate, revision cycles, CI pass rate), and dashboards for PR risk labels, validation outcomes, and trends by repo, user, and `prompt_version`.

## Use case

Operators adopting background agents need outcome-oriented metrics, not task counts. Product and platform teams need analytics to tune prompts, memory, and validation tiers.

## Proposed solution

1. Aggregate from Tasks table, `TaskEvents`, PR outcome tracking, and validation tier outputs.
2. CloudWatch metrics + operator dashboard widgets (extend existing dashboard construct).
3. Optional `GET /analytics/...` or export API (align with #237 governance planes).
4. Eventually feed learned memory rules into Tier 2 validation when tiered pipeline ships.
5. Document metric definitions in `docs/design/EVALUATION.md`.

## Other information

- #412 covers CLI `bgagent stats`; this issue covers **backend aggregation and dashboards**.
- Design context: `docs/design/EVALUATION.md`, `docs/design/OBSERVABILITY.md`.

- [ ] This might be a breaking change

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne mit dem Lesen von ROADMAP.md und dem Designkontext in docs/design/EVALUATION.md und docs/design/OBSERVABILITY.md. Untersuche anschließend das vorhandene Dashboard-Konstrukt sowie die Datenquellen für Tasks, TaskEvents, das PR-Ergebnis und die Validierungsstufe. Abgeschlossen ist die Arbeit, wenn die vereinbarten Backend-Evaluierungsaggregationen und die Abdeckung des CloudWatch-/Operator-Dashboards implementiert sind und die Metrikdefinitionen in docs/design/EVALUATION.md dokumentiert sind.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
aws, typescript
Bereich
analytics, backend, observability
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Ruhig
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.