aws-samples / aws-samples/sample-autonomous-cloud-coding-agents

feat(observability): evaluation pipeline and validation/risk analytics

Aperta
#451 1 commento 0 reazioni 0 assegnatari Vedi su GitHub
enhancement observability orchestration
Lingua principale
TypeScript
Stelle
143
Fork
46
Merge medio
3g 9h
PR unite (30g)
20

Descrizione

**Context:** ROADMAP.md → Evaluation pipeline + Validation and risk analytics
**Related:** #412, #415, #237, pr-outcome-tracking draft

---

## Component

API or orchestration

## Describe the feature

Backend **evaluation pipeline**: failure categorization, memory effectiveness metrics (merge rate, revision cycles, CI pass rate), and dashboards for PR risk labels, validation outcomes, and trends by repo, user, and `prompt_version`.

## Use case

Operators adopting background agents need outcome-oriented metrics, not task counts. Product and platform teams need analytics to tune prompts, memory, and validation tiers.

## Proposed solution

1. Aggregate from Tasks table, `TaskEvents`, PR outcome tracking, and validation tier outputs.
2. CloudWatch metrics + operator dashboard widgets (extend existing dashboard construct).
3. Optional `GET /analytics/...` or export API (align with #237 governance planes).
4. Eventually feed learned memory rules into Tier 2 validation when tiered pipeline ships.
5. Document metric definitions in `docs/design/EVALUATION.md`.

## Other information

- #412 covers CLI `bgagent stats`; this issue covers **backend aggregation and dashboards**.
- Design context: `docs/design/EVALUATION.md`, `docs/design/OBSERVABILITY.md`.

- [ ] This might be a breaking change

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia leggendo ROADMAP.md e il contesto di progettazione in docs/design/EVALUATION.md e docs/design/OBSERVABILITY.md, quindi esamina il construct del dashboard esistente e le origini dati per Tasks, TaskEvents, l’esito della PR e il livello di validazione. Il lavoro è completo quando sono implementate le aggregazioni di valutazione del backend concordate e la copertura della dashboard CloudWatch/operator, con le definizioni delle metriche documentate in docs/design/EVALUATION.md.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
aws, typescript
Ambito
analytics, backend, observability
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Tranquilla
Chiarezza
Abbastanza chiara
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.