aws-samples / aws-samples/sample-autonomous-cloud-coding-agents

feat(agent): tiered validation pipeline (Tiers 2–3)

Offen
#490 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
agent-runtime enhancement orchestration
Vorherrschende Sprache
TypeScript
Sterne
143
Forks
46
Ø Merge
3 T. 9 Std.
Gemergte PRs (30 T.)
20

Beschreibung

**Context:** ROADMAP.md → Agent quality → Tiered validation pipeline
**Related:** #149 (ADR-013 closed), in-pipeline fix-up draft, evaluation pipeline draft

---

## Component

Agent (Python runtime)

## Describe the feature

Three post-agent tiers per roadmap:

1. **Tier 1 (already shipped):** tool validation—build/test/lint via agent post-hooks and PR body baselines. *This issue implements Tiers 2–3 only.*
2. **Tier 2:** code quality—DRY/SOLID/complexity analysis.
3. **Tier 3:** risk and blast radius analysis—feeds PR risk classifier and review routing (#425).

See ADR-013 tiered validation pyramid.

## Use case

Build/lint passing does not imply maintainable or low-risk changes. Operators want graduated validation before PR creation and to feed evaluation metrics.

## Proposed solution

1. Define tier interfaces in `agent/` with Blueprint opt-in per repo.
2. Tier 2: integrate existing linters/analyzers (eslint complexity, ruff, optional semgrep rules) with structured JSON output.
3. Tier 3: rule-based blast radius (files touched, public API surface, migrations)—output consumed by PR risk classifier draft.
4. Non-blocking advisory mode first; optional Cedar/policy gates later.
5. Emit validation results to `TaskEventsTable` and task record for dashboards.

## Other information

- ADR-013 documents the validation pyramid; this issue tracks **implementation**.
- Design context: `docs/decisions/ADR-013-tiered-validation-pyramid.md`, `docs/design/EVALUATION.md`.

- [ ] This might be a breaking change

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne mit dem Lesen von docs/decisions/ADR-013-tiered-validation-pyramid.md und docs/design/EVALUATION.md und untersuche anschließend die agent/-Schnittstellen und die Verweise auf TaskEventsTable. Lege fest, wie Tiers 2–3 mit Blueprint opt-in, strukturierten Beratungsergebnissen, der Blast-Radius-Ausgabe und Task-Datensätzen integriert werden; abgeschlossen ist die Aufgabe, wenn diese Ergebnisse Dashboards und den PR-Risikoklassifizierer speisen können.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python
Bereich
ai, devtools
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Ruhig
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.