aws-samples / aws-samples/sample-autonomous-cloud-coding-agents

feat(observability): evaluation pipeline and validation/risk analytics

Ouverte
#451 1 commentaire 0 réactions 0 personnes assignées Voir sur GitHub
enhancement observability orchestration
Langage dominant
TypeScript
Étoiles
146
Forks
46
Merge moyen
3 j 10 h
PR mergées (30 j)
24

Description

**Context:** ROADMAP.md → Evaluation pipeline + Validation and risk analytics
**Related:** #412, #415, #237, pr-outcome-tracking draft

---

## Component

API or orchestration

## Describe the feature

Backend **evaluation pipeline**: failure categorization, memory effectiveness metrics (merge rate, revision cycles, CI pass rate), and dashboards for PR risk labels, validation outcomes, and trends by repo, user, and `prompt_version`.

## Use case

Operators adopting background agents need outcome-oriented metrics, not task counts. Product and platform teams need analytics to tune prompts, memory, and validation tiers.

## Proposed solution

1. Aggregate from Tasks table, `TaskEvents`, PR outcome tracking, and validation tier outputs.
2. CloudWatch metrics + operator dashboard widgets (extend existing dashboard construct).
3. Optional `GET /analytics/...` or export API (align with #237 governance planes).
4. Eventually feed learned memory rules into Tier 2 validation when tiered pipeline ships.
5. Document metric definitions in `docs/design/EVALUATION.md`.

## Other information

- #412 covers CLI `bgagent stats`; this issue covers **backend aggregation and dashboards**.
- Design context: `docs/design/EVALUATION.md`, `docs/design/OBSERVABILITY.md`.

- [ ] This might be a breaking change

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

Commencez par lire ROADMAP.md ainsi que le contexte de conception dans docs/design/EVALUATION.md et docs/design/OBSERVABILITY.md, puis examinez le construct de dashboard existant et les sources de données pour Tasks, TaskEvents, le résultat de la PR et le niveau de validation. Le travail est considéré comme terminé lorsque les agrégations d’évaluation du backend convenues et la couverture du dashboard CloudWatch/opérateur sont implémentées, avec les définitions des métriques documentées dans docs/design/EVALUATION.md.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
aws, typescript
Domaine
analytics, backend, observability
Type d'issue
Fonctionnalité
Difficulté
5/5
Temps estimé
Plus d'une semaine
Activité
Calme
Clarté
Plutôt claire
Accessibilité débutants
35/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.