aws-samples / aws-samples/sample-autonomous-cloud-coding-agents
(agent): Factory self-improvement audit automation
- 主要言語
- TypeScript
- スター
- 143
- フォーク
- 46
- 平均マージ
- 3日 10時間
- マージ済み PR(30日)
- 24
説明
## Component
Workflows
## Describe the feature
Ship a reference **`coding/factory-audit-v1`** (or scheduled workflow) that periodically reviews recent task trajectories, prompt versions, and automation outcomes—proposing harness improvements (rules, standards, workflow YAML) as issues or draft PRs.
## Use case
Operators running mature background-agent fleets often want an **automation auditor** that reviews prompts and run logs to suggest harness improvements. ABCA has evaluation roadmap items but no packaged **closed-loop self-improvement** workflow operators can enable.
## Proposed solution
1. Scheduled trigger (roadmap) or manual `bgagent submit --workflow factory-audit-v1`.
2. Read-only access to `TaskEvents`, traces, merge outcomes for repo/time window.
3. Output: markdown report artifact in S3 + optional GitHub issue creation.
4. Human approves before any harness file auto-PR.
## Other information
- Complements **Evaluation pipeline**, **LLM-assisted trace analysis**, **A/B prompt experiments**.
- Repo-less or read-only repo mode acceptable.
## Acknowledgements
- [ ] I may be able to implement this feature
- [ ] This might be a breaking change
## Acceptance criteria
- [ ] Reference workflow YAML and prompt shipped under `agent/workflows/`.
- [ ] Produces structured report with actionable recommendations.
- [ ] Does not auto-merge harness changes without HITL.
- [ ] Tests with fixture task history.
コントリビューションガイド
調査の方向性
agent/workflows/ 配下の既存の workflow と、手動のエントリポイント bgagent submit --workflow factory-audit-v1 から始め、TaskEvents、trace、merge outcome がどのように公開されているかを確認します。完了条件は、参照用の workflow YAML と prompt によって構造化された Markdown レポートが生成され、fixture のタスク履歴がカバーされ、harness の変更を merge する前に HITL が必須になることです。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- aws, github, yaml
- 領域
- ai, devops, tooling
- issue の種類
- 機能追加
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 活発さ
- 静か
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 35/100