aws-samples / aws-samples/sample-autonomous-cloud-coding-agents
feat(observability): evaluation pipeline and validation/risk analytics
- Lenguaje dominante
- TypeScript
- Estrellas
- 143
- Forks
- 46
- Merge medio
- 3 d 10 h
- PR fusionados (30 d)
- 24
Descripción
**Context:** ROADMAP.md → Evaluation pipeline + Validation and risk analytics
**Related:** #412, #415, #237, pr-outcome-tracking draft
---
## Component
API or orchestration
## Describe the feature
Backend **evaluation pipeline**: failure categorization, memory effectiveness metrics (merge rate, revision cycles, CI pass rate), and dashboards for PR risk labels, validation outcomes, and trends by repo, user, and `prompt_version`.
## Use case
Operators adopting background agents need outcome-oriented metrics, not task counts. Product and platform teams need analytics to tune prompts, memory, and validation tiers.
## Proposed solution
1. Aggregate from Tasks table, `TaskEvents`, PR outcome tracking, and validation tier outputs.
2. CloudWatch metrics + operator dashboard widgets (extend existing dashboard construct).
3. Optional `GET /analytics/...` or export API (align with #237 governance planes).
4. Eventually feed learned memory rules into Tier 2 validation when tiered pipeline ships.
5. Document metric definitions in `docs/design/EVALUATION.md`.
## Other information
- #412 covers CLI `bgagent stats`; this issue covers **backend aggregation and dashboards**.
- Design context: `docs/design/EVALUATION.md`, `docs/design/OBSERVABILITY.md`.
- [ ] This might be a breaking change
Guía de contribución
Línea de trabajo
Empieza leyendo ROADMAP.md y el contexto de diseño en docs/design/EVALUATION.md y docs/design/OBSERVABILITY.md; después, inspecciona el constructo de dashboard existente y las fuentes de datos de Tasks, TaskEvents, el resultado del PR y el nivel de validación. Se considera terminado cuando estén implementadas las agregaciones de evaluación del backend acordadas y la cobertura del dashboard de CloudWatch/operadores, con las definiciones de las métricas documentadas en docs/design/EVALUATION.md.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- aws, typescript
- Área
- analytics, backend, observability
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Estado de actividad
- Tranquilo
- Claridad
- Bastante claro
- Aptitud para principiantes
- 35/100