aws-samples / aws-samples/sample-autonomous-cloud-coding-agents

(agent): Factory self-improvement audit automation

オープン
#416 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
agent-runtime enhancement
主要言語
TypeScript
スター
143
フォーク
46
平均マージ
3日 10時間
マージ済み PR(30日)
24

説明

## Component

Workflows

## Describe the feature

Ship a reference **`coding/factory-audit-v1`** (or scheduled workflow) that periodically reviews recent task trajectories, prompt versions, and automation outcomes—proposing harness improvements (rules, standards, workflow YAML) as issues or draft PRs.

## Use case

Operators running mature background-agent fleets often want an **automation auditor** that reviews prompts and run logs to suggest harness improvements. ABCA has evaluation roadmap items but no packaged **closed-loop self-improvement** workflow operators can enable.

## Proposed solution

1. Scheduled trigger (roadmap) or manual `bgagent submit --workflow factory-audit-v1`.
2. Read-only access to `TaskEvents`, traces, merge outcomes for repo/time window.
3. Output: markdown report artifact in S3 + optional GitHub issue creation.
4. Human approves before any harness file auto-PR.

## Other information

- Complements **Evaluation pipeline**, **LLM-assisted trace analysis**, **A/B prompt experiments**.
- Repo-less or read-only repo mode acceptable.

## Acknowledgements

- [ ] I may be able to implement this feature
- [ ] This might be a breaking change

## Acceptance criteria

- [ ] Reference workflow YAML and prompt shipped under `agent/workflows/`.
- [ ] Produces structured report with actionable recommendations.
- [ ] Does not auto-merge harness changes without HITL.
- [ ] Tests with fixture task history.

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

agent/workflows/ 配下の既存の workflow と、手動のエントリポイント bgagent submit --workflow factory-audit-v1 から始め、TaskEvents、trace、merge outcome がどのように公開されているかを確認します。完了条件は、参照用の workflow YAML と prompt によって構造化された Markdown レポートが生成され、fixture のタスク履歴がカバーされ、harness の変更を merge する前に HITL が必須になることです。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
aws, github, yaml
領域
ai, devops, tooling
issue の種類
機能追加
難易度
5/5
見積もり時間
1週間以上
活発さ
静か
明瞭さ
おおむね明確
初心者へのやさしさ
35/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。