aws-samples / aws-samples/sample-autonomous-cloud-coding-agents

feat(agent): adaptive / complexity-aware model router

Aperta
#439 1 commento 0 reazioni 0 assegnatari Vedi su GitHub
agent-runtime cost-finops enhancement
Lingua principale
TypeScript
Stelle
143
Fork
46
Merge medio
3g 9h
PR unite (30g)
20

Descrizione

**Context:** ROADMAP.md → Adaptive model router + Complexity-aware model router (Cost governance)

---

## Component

Agent (Python runtime)

## Describe the feature

**Per-turn model selection** by task complexity: cheaper models for reads/simple edits, stronger models for complex reasoning—while honoring `max_budget_usd` and Cedar policy. Target ~30–40% cost reduction.

## Use case

Using Opus-class models for every turn is expensive. Many turns are file reads or trivial edits that a smaller model handles well.

## Proposed solution

1. Router heuristic or lightweight classifier (turn type, diff size, tool invoked).
2. Blueprint: allowed model set + routing policy.
3. Fallback to strong model on failure or low confidence.
4. Emit per-turn model choice in telemetry for cost attribution (#215).
5. A/B measure cost vs merge rate in evaluation pipeline.

## Other information

- Single issue covers both roadmap entries (compute + cost governance).
- Design context: `docs/design/COST_MODEL.md`, `agent/src/runner.py`.

- [ ] This might be a breaking change

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia da docs/design/COST_MODEL.md, poi esamina agent/src/runner.py per comprendere l’attuale flusso dei modelli per turno. Definisci come si integrano complessità, modelli consentiti, max_budget_usd, Cedar policy, comportamento di fallback, telemetria e valutazione. Il lavoro è completato quando l’impatto del router sui costi e sul merge-rate viene misurato senza violare la policy o il budget.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python
Ambito
ai
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Tranquilla
Chiarezza
Abbastanza chiara
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.