aws-samples / aws-samples/sample-autonomous-cloud-coding-agents
feat(orchestration): PR outcome tracking via GitHub webhooks
- Lingua principale
- TypeScript
- Stelle
- 143
- Fork
- 46
- Merge medio
- 3g 10h
- PR unite (30g)
- 24
Descrizione
**Context:** ROADMAP.md → Agent quality → PR outcome tracking
**Related:** #27 (review feedback memory), #412 (stats), evaluation pipeline draft
---
## Component
API or orchestration
## Describe the feature
Track PR **merge / close / reject** outcomes via GitHub webhooks (and analogous providers later). Persist positive/negative signals on the task record and feed evaluation pipeline and memory systems.
## Use case
Task `COMPLETED` today means "PR opened," not "change landed." Operators cannot measure true success rate, revision cycles, or memory effectiveness without outcome linkage.
## Proposed solution
1. Extend GitHub webhook processor for `pull_request.closed` (merged vs not).
2. Link outcome to originating `task_id` (branch name, PR metadata, or stored `pr_url`).
3. Update task record: `pr_outcome: merged | closed | abandoned`, `merged_at`, `revision_count` (if trackable).
4. Emit `pr_outcome_recorded` to `TaskEventsTable`.
5. Expose in `bgagent stats` / evaluation APIs (#412).
## Other information
- Feeds **Review feedback memory loop** (#27) and **A/B prompt experiments** draft.
- Design context: `docs/design/EVALUATION.md`.
- [ ] This might be a breaking change
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Inizia da docs/design/EVALUATION.md e dal processore dei webhook di GitHub. Traccia come sono rappresentati i record delle attività e TaskEventsTable, quindi esamina i riferimenti alle API di stats e valutazione in #412. Il lavoro è completato quando gli esiti delle pull request chiuse sono collegati alle attività, persistiti con i segnali specificati, emessi come eventi ed esposti ai consumer di stats o valutazione.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- github, typescript
- Ambito
- api, backend, observability
- Tipo di issue
- Funzionalità
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Tranquilla
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 45/100