aws-samples / aws-samples/sample-autonomous-cloud-coding-agents
feat(observability): evaluation pipeline and validation/risk analytics
- Langage dominant
- TypeScript
- Étoiles
- 146
- Forks
- 46
- Merge moyen
- 3 j 10 h
- PR mergées (30 j)
- 24
Description
**Context:** ROADMAP.md → Evaluation pipeline + Validation and risk analytics
**Related:** #412, #415, #237, pr-outcome-tracking draft
---
## Component
API or orchestration
## Describe the feature
Backend **evaluation pipeline**: failure categorization, memory effectiveness metrics (merge rate, revision cycles, CI pass rate), and dashboards for PR risk labels, validation outcomes, and trends by repo, user, and `prompt_version`.
## Use case
Operators adopting background agents need outcome-oriented metrics, not task counts. Product and platform teams need analytics to tune prompts, memory, and validation tiers.
## Proposed solution
1. Aggregate from Tasks table, `TaskEvents`, PR outcome tracking, and validation tier outputs.
2. CloudWatch metrics + operator dashboard widgets (extend existing dashboard construct).
3. Optional `GET /analytics/...` or export API (align with #237 governance planes).
4. Eventually feed learned memory rules into Tier 2 validation when tiered pipeline ships.
5. Document metric definitions in `docs/design/EVALUATION.md`.
## Other information
- #412 covers CLI `bgagent stats`; this issue covers **backend aggregation and dashboards**.
- Design context: `docs/design/EVALUATION.md`, `docs/design/OBSERVABILITY.md`.
- [ ] This might be a breaking change
Guide de contribution
Ouvrir le guide de contribution
Piste de recherche
Commencez par lire ROADMAP.md ainsi que le contexte de conception dans docs/design/EVALUATION.md et docs/design/OBSERVABILITY.md, puis examinez le construct de dashboard existant et les sources de données pour Tasks, TaskEvents, le résultat de la PR et le niveau de validation. Le travail est considéré comme terminé lorsque les agrégations d’évaluation du backend convenues et la couverture du dashboard CloudWatch/opérateur sont implémentées, avec les définitions des métriques documentées dans docs/design/EVALUATION.md.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- aws, typescript
- Domaine
- analytics, backend, observability
- Type d'issue
- Fonctionnalité
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Activité
- Calme
- Clarté
- Plutôt claire
- Accessibilité débutants
- 35/100