aws-samples / aws-samples/sample-autonomous-cloud-coding-agents
(tooling): Context lint and eval for repo harness files
- Lingua principale
- TypeScript
- Stelle
- 143
- Fork
- 46
- Merge medio
- 3g 10h
- PR unite (30g)
- 24
Descrizione
## Component
Tooling / CI
## Describe the feature
Add CI-checkable **context quality gates** for repo harness files (`AGENTS.md`, `.claude/rules/`, workflow prompts): structure lint, optional LLM-as-judge eval fixtures, and drift detection—treating context with the same rigor as code.
## Use case
Repo harness files deserve a **context development lifecycle**: generate, evaluate, distribute, observe. Teams copy-paste rules into repos without tests; context rots after refactors. ABCA loads these files at runtime but does not help operators validate them.
## Proposed solution
1. `mise` task or pre-commit hook: `context:lint` (heading structure, max line length, required sections).
2. Optional `context:eval` with golden prompts + expected properties (LLM judge behind flag).
3. Docs: context retro checklist after sprints (process in operator adoption guide).
4. Future: publish blessed packs via **Agent asset registry**.
## Other information
- Complements **feature-machine-readable-engineering-standards** and **feature-context-quality-metrics**.
- Does not block task execution in v1—advisory in CI unless repo opts in.
## Acknowledgements
- [ ] I may be able to implement this feature
- [ ] This might be a breaking change
## Acceptance criteria
- [ ] Lint rules documented with examples of pass/fail.
- [ ] At least one eval fixture in repo CI for ABCA sample config.
- [ ] Guide section in `PROMPT_GUIDE.md` or new `CONTEXT_ENGINEERING.md`.
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Inizia esaminando AGENTS.md, .claude/rules/ e i prompt del workflow, quindi verifica come il repo definisce i task di mise o gli hook pre-commit. Usa i criteri di accettazione per circoscrivere regole di lint documentate di superamento/fallimento, un fixture di valutazione della configurazione di esempio ABCA in CI e una sezione della guida in PROMPT_GUIDE.md o CONTEXT_ENGINEERING.md; il lavoro è completato quando questi controlli sono consultivi e opt-in.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Ambito
- ci-cd, documentation, tooling
- Tipo di issue
- Funzionalità
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Tranquilla
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 38/100