aws-samples / aws-samples/sample-autonomous-cloud-coding-agents
feat(observability): evaluation pipeline and validation/risk analytics
- Lingua principale
- TypeScript
- Stelle
- 143
- Fork
- 46
- Merge medio
- 3g 9h
- PR unite (30g)
- 20
Descrizione
**Context:** ROADMAP.md → Evaluation pipeline + Validation and risk analytics
**Related:** #412, #415, #237, pr-outcome-tracking draft
---
## Component
API or orchestration
## Describe the feature
Backend **evaluation pipeline**: failure categorization, memory effectiveness metrics (merge rate, revision cycles, CI pass rate), and dashboards for PR risk labels, validation outcomes, and trends by repo, user, and `prompt_version`.
## Use case
Operators adopting background agents need outcome-oriented metrics, not task counts. Product and platform teams need analytics to tune prompts, memory, and validation tiers.
## Proposed solution
1. Aggregate from Tasks table, `TaskEvents`, PR outcome tracking, and validation tier outputs.
2. CloudWatch metrics + operator dashboard widgets (extend existing dashboard construct).
3. Optional `GET /analytics/...` or export API (align with #237 governance planes).
4. Eventually feed learned memory rules into Tier 2 validation when tiered pipeline ships.
5. Document metric definitions in `docs/design/EVALUATION.md`.
## Other information
- #412 covers CLI `bgagent stats`; this issue covers **backend aggregation and dashboards**.
- Design context: `docs/design/EVALUATION.md`, `docs/design/OBSERVABILITY.md`.
- [ ] This might be a breaking change
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Inizia leggendo ROADMAP.md e il contesto di progettazione in docs/design/EVALUATION.md e docs/design/OBSERVABILITY.md, quindi esamina il construct del dashboard esistente e le origini dati per Tasks, TaskEvents, l’esito della PR e il livello di validazione. Il lavoro è completo quando sono implementate le aggregazioni di valutazione del backend concordate e la copertura della dashboard CloudWatch/operator, con le definizioni delle metriche documentate in docs/design/EVALUATION.md.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- aws, typescript
- Ambito
- analytics, backend, observability
- Tipo di issue
- Funzionalità
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Tranquilla
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 35/100