aws-samples / aws-samples/sample-autonomous-cloud-coding-agents

(agent): Factory self-improvement audit automation

Aperta
#416 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
agent-runtime enhancement
Lingua principale
TypeScript
Stelle
143
Fork
46
Merge medio
3g 10h
PR unite (30g)
24

Descrizione

## Component

Workflows

## Describe the feature

Ship a reference **`coding/factory-audit-v1`** (or scheduled workflow) that periodically reviews recent task trajectories, prompt versions, and automation outcomes—proposing harness improvements (rules, standards, workflow YAML) as issues or draft PRs.

## Use case

Operators running mature background-agent fleets often want an **automation auditor** that reviews prompts and run logs to suggest harness improvements. ABCA has evaluation roadmap items but no packaged **closed-loop self-improvement** workflow operators can enable.

## Proposed solution

1. Scheduled trigger (roadmap) or manual `bgagent submit --workflow factory-audit-v1`.
2. Read-only access to `TaskEvents`, traces, merge outcomes for repo/time window.
3. Output: markdown report artifact in S3 + optional GitHub issue creation.
4. Human approves before any harness file auto-PR.

## Other information

- Complements **Evaluation pipeline**, **LLM-assisted trace analysis**, **A/B prompt experiments**.
- Repo-less or read-only repo mode acceptable.

## Acknowledgements

- [ ] I may be able to implement this feature
- [ ] This might be a breaking change

## Acceptance criteria

- [ ] Reference workflow YAML and prompt shipped under `agent/workflows/`.
- [ ] Produces structured report with actionable recommendations.
- [ ] Does not auto-merge harness changes without HITL.
- [ ] Tests with fixture task history.

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia con i workflow esistenti in agent/workflows/ e con il punto di ingresso manuale bgagent submit --workflow factory-audit-v1, quindi esamina come vengono esposti TaskEvents, i trace e gli esiti dei merge. Il lavoro è completo quando un YAML di workflow di riferimento e un prompt producono un report Markdown strutturato, coprono la cronologia delle attività di un fixture e richiedono HITL prima del merge di qualsiasi modifica all’harness.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
aws, github, yaml
Ambito
ai, devops, tooling
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Tranquilla
Chiarezza
Abbastanza chiara
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.