aws-samples / aws-samples/sample-autonomous-cloud-coding-agents

(tooling): Context lint and eval for repo harness files

Offen
#414 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
enhancement tooling
Vorherrschende Sprache
TypeScript
Sterne
143
Forks
46
Ø Merge
3 T. 10 Std.
Gemergte PRs (30 T.)
24

Beschreibung

## Component

Tooling / CI

## Describe the feature

Add CI-checkable **context quality gates** for repo harness files (`AGENTS.md`, `.claude/rules/`, workflow prompts): structure lint, optional LLM-as-judge eval fixtures, and drift detection—treating context with the same rigor as code.

## Use case

Repo harness files deserve a **context development lifecycle**: generate, evaluate, distribute, observe. Teams copy-paste rules into repos without tests; context rots after refactors. ABCA loads these files at runtime but does not help operators validate them.

## Proposed solution

1. `mise` task or pre-commit hook: `context:lint` (heading structure, max line length, required sections).
2. Optional `context:eval` with golden prompts + expected properties (LLM judge behind flag).
3. Docs: context retro checklist after sprints (process in operator adoption guide).
4. Future: publish blessed packs via **Agent asset registry**.

## Other information

- Complements **feature-machine-readable-engineering-standards** and **feature-context-quality-metrics**.
- Does not block task execution in v1—advisory in CI unless repo opts in.

## Acknowledgements

- [ ] I may be able to implement this feature
- [ ] This might be a breaking change

## Acceptance criteria

- [ ] Lint rules documented with examples of pass/fail.
- [ ] At least one eval fixture in repo CI for ABCA sample config.
- [ ] Guide section in `PROMPT_GUIDE.md` or new `CONTEXT_ENGINEERING.md`.

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne mit der Durchsicht von AGENTS.md, .claude/rules/ und den Workflow-Prompts und untersuche anschließend, wie das Repo mise-Aufgaben oder pre-commit-Hooks definiert. Verwende die Akzeptanzkriterien, um dokumentierte Lint-Regeln für Erfolg/Fehlschlag, ein ABCA-Beispielkonfigurations-Eval-Fixture in CI und einen Abschnitt im Leitfaden in PROMPT_GUIDE.md oder CONTEXT_ENGINEERING.md abzugrenzen; abgeschlossen bedeutet, dass diese Prüfungen beratend und opt-in sind.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Bereich
ci-cd, documentation, tooling
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Ruhig
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
38/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.