AltimateAI / AltimateAI/altimate-code

Constrained tool-call decoding: validate (local vLLM) + wire

Offen
#868 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
TypeScript
Sterne
811
Forks
134
Ø Merge
3 T. 2 Std.
Gemergte PRs (30 T.)
50

Beschreibung

### Context

`provider/constrained.ts` (grammar/JSON-Schema constrained decoding for local providers) was split out of #858 so the validated tool-retrieval lever could land clean. Code + unit tests live on branch `feat/constrained-decoding`.

### Work

1. **Validate**: run a local vLLM guided-decoding A/B (constrained ON vs OFF) on a tool-heavy task set; confirm it improves tool-call parse-rate / reduces malformed calls at no quality cost.
2. **Wire**: re-add the flag-gated (`ALTIMATE_CONSTRAINED_TOOLCALLS`, local-providers-only, `toolChoice: "required"`) block into `session/llm.ts` (marker-wrapped).
3. Open the PR once it actually does something measurable.

Do NOT open a PR with the flag wired-but-unvalidated or present-but-unwired (the no-op-flag anti-pattern). Branch: `feat/constrained-decoding`.

Beitragsleitfaden

Beitragsleitfaden öffnen

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.