aws-samples / aws-samples/sample-autonomous-cloud-coding-agents

feat(orchestration): PR outcome tracking via GitHub webhooks

Aperta
#473 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
adapters enhancement orchestration
Lingua principale
TypeScript
Stelle
143
Fork
46
Merge medio
3g 10h
PR unite (30g)
24

Descrizione

**Context:** ROADMAP.md → Agent quality → PR outcome tracking
**Related:** #27 (review feedback memory), #412 (stats), evaluation pipeline draft

---

## Component

API or orchestration

## Describe the feature

Track PR **merge / close / reject** outcomes via GitHub webhooks (and analogous providers later). Persist positive/negative signals on the task record and feed evaluation pipeline and memory systems.

## Use case

Task `COMPLETED` today means "PR opened," not "change landed." Operators cannot measure true success rate, revision cycles, or memory effectiveness without outcome linkage.

## Proposed solution

1. Extend GitHub webhook processor for `pull_request.closed` (merged vs not).
2. Link outcome to originating `task_id` (branch name, PR metadata, or stored `pr_url`).
3. Update task record: `pr_outcome: merged | closed | abandoned`, `merged_at`, `revision_count` (if trackable).
4. Emit `pr_outcome_recorded` to `TaskEventsTable`.
5. Expose in `bgagent stats` / evaluation APIs (#412).

## Other information

- Feeds **Review feedback memory loop** (#27) and **A/B prompt experiments** draft.
- Design context: `docs/design/EVALUATION.md`.

- [ ] This might be a breaking change

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia da docs/design/EVALUATION.md e dal processore dei webhook di GitHub. Traccia come sono rappresentati i record delle attività e TaskEventsTable, quindi esamina i riferimenti alle API di stats e valutazione in #412. Il lavoro è completato quando gli esiti delle pull request chiuse sono collegati alle attività, persistiti con i segnali specificati, emessi come eventi ed esposti ai consumer di stats o valutazione.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
github, typescript
Ambito
api, backend, observability
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Tranquilla
Chiarezza
Abbastanza chiara
Idoneità per principianti
45/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.