aws-samples / aws-samples/sample-autonomous-cloud-coding-agents

(agent): Factory self-improvement audit automation

Offen
#416 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
agent-runtime enhancement
Vorherrschende Sprache
TypeScript
Sterne
143
Forks
46
Ø Merge
3 T. 10 Std.
Gemergte PRs (30 T.)
24

Beschreibung

## Component

Workflows

## Describe the feature

Ship a reference **`coding/factory-audit-v1`** (or scheduled workflow) that periodically reviews recent task trajectories, prompt versions, and automation outcomes—proposing harness improvements (rules, standards, workflow YAML) as issues or draft PRs.

## Use case

Operators running mature background-agent fleets often want an **automation auditor** that reviews prompts and run logs to suggest harness improvements. ABCA has evaluation roadmap items but no packaged **closed-loop self-improvement** workflow operators can enable.

## Proposed solution

1. Scheduled trigger (roadmap) or manual `bgagent submit --workflow factory-audit-v1`.
2. Read-only access to `TaskEvents`, traces, merge outcomes for repo/time window.
3. Output: markdown report artifact in S3 + optional GitHub issue creation.
4. Human approves before any harness file auto-PR.

## Other information

- Complements **Evaluation pipeline**, **LLM-assisted trace analysis**, **A/B prompt experiments**.
- Repo-less or read-only repo mode acceptable.

## Acknowledgements

- [ ] I may be able to implement this feature
- [ ] This might be a breaking change

## Acceptance criteria

- [ ] Reference workflow YAML and prompt shipped under `agent/workflows/`.
- [ ] Produces structured report with actionable recommendations.
- [ ] Does not auto-merge harness changes without HITL.
- [ ] Tests with fixture task history.

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne mit den bestehenden Workflows unter agent/workflows/ und dem manuellen Einstiegspunkt bgagent submit --workflow factory-audit-v1 und untersuche dann, wie TaskEvents, Traces und Merge-Ergebnisse bereitgestellt werden. Als erledigt gilt die Aufgabe, wenn ein Referenz-Workflow-YAML und ein Prompt einen strukturierten Markdown-Bericht erzeugen, die Aufgabenhistorie eines Fixtures abdecken und vor dem Mergen jeder Änderung am Harness HITL erfordern.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
aws, github, yaml
Bereich
ai, devops, tooling
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Ruhig
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.