aws-samples / aws-samples/sample-autonomous-cloud-coding-agents

(agent): Factory self-improvement audit automation

Abierto
#416 0 comentarios 0 reacciones 0 asignados Ver en GitHub
agent-runtime enhancement
Lenguaje dominante
TypeScript
Estrellas
143
Forks
46
Merge medio
3 d 10 h
PR fusionados (30 d)
24

Descripción

## Component

Workflows

## Describe the feature

Ship a reference **`coding/factory-audit-v1`** (or scheduled workflow) that periodically reviews recent task trajectories, prompt versions, and automation outcomes—proposing harness improvements (rules, standards, workflow YAML) as issues or draft PRs.

## Use case

Operators running mature background-agent fleets often want an **automation auditor** that reviews prompts and run logs to suggest harness improvements. ABCA has evaluation roadmap items but no packaged **closed-loop self-improvement** workflow operators can enable.

## Proposed solution

1. Scheduled trigger (roadmap) or manual `bgagent submit --workflow factory-audit-v1`.
2. Read-only access to `TaskEvents`, traces, merge outcomes for repo/time window.
3. Output: markdown report artifact in S3 + optional GitHub issue creation.
4. Human approves before any harness file auto-PR.

## Other information

- Complements **Evaluation pipeline**, **LLM-assisted trace analysis**, **A/B prompt experiments**.
- Repo-less or read-only repo mode acceptable.

## Acknowledgements

- [ ] I may be able to implement this feature
- [ ] This might be a breaking change

## Acceptance criteria

- [ ] Reference workflow YAML and prompt shipped under `agent/workflows/`.
- [ ] Produces structured report with actionable recommendations.
- [ ] Does not auto-merge harness changes without HITL.
- [ ] Tests with fixture task history.

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

Comienza con los workflows existentes en agent/workflows/ y el punto de entrada manual bgagent submit --workflow factory-audit-v1; después, inspecciona cómo se exponen TaskEvents, los traces y los resultados de los merges. La tarea estará terminada cuando un YAML de workflow de referencia y un prompt produzcan un informe Markdown estructurado, cubran el historial de tareas de un fixture y requieran HITL antes de hacer merge de cualquier cambio en el harness.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
aws, github, yaml
Área
ai, devops, tooling
Tipo de issue
Nueva funcionalidad
Dificultad
5/5
Tiempo estimado
Más de una semana
Estado de actividad
Tranquilo
Claridad
Bastante claro
Aptitud para principiantes
35/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.