feat: Add GGUF/llama-cpp backend to terraphim LLM proxy layer

Offen

#538 erstellt am 17.2.2026 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 5/5
Geschätzter Aufwand: Über eine Woche
Anfängerfreundlichkeit: 28/100

Issue-Typ: Feature
Klarheit: Größtenteils klar
Aktivitätsstatus: Veraltet
Tech-Stack: rust
Bereich: ai

Rechercherichtung

Start by comparing the existing remote genai client trait with the proposed new crates/terraphim_llm_local/ or feature in terraphim_multi_agent, then review the approved llama-cpp-rs and hf-hub dependencies. Done means CPU-only GGUF inference, automatic model download, quantization selection, and transparent compatibility with the existing client trait.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

enhancement multi-agent

Problem

terraphim-ai has no local inference capability. All LLM calls go through remote APIs (OpenRouter via genai). For machines without GPU or API access, there is no fallback. GGUF models for MedGemma are available (unsloth/medgemma-1.5-4b-it-GGUF, 11.8K downloads on HuggingFace).

Proposed Change

Add a terraphim_llm_local crate (or feature in terraphim_multi_agent) that wraps llama-cpp-rs for local GGUF inference. Implement the same LLM client trait so agents can transparently use local or remote models.

Key requirements:

CPU-only inference support (many dev machines lack GPU)
Automatic GGUF model download via hf-hub crate
Quantization variant selection (Q4_K_M ~2.5GB for 4B models, Q8_0 for higher quality)
Same trait interface as the remote genai client for seamless swapping

Scope

New crate crates/terraphim_llm_local/ or feature gate in terraphim_multi_agent
Dependencies: llama-cpp-rs, hf-hub (both approved)

Context

This is UPLIFT-5 from the medgemma-competition multi-agent integration plan. Local GGUF inference is essential for development workflows where remote API calls are slow or unavailable. The MedGemma 1.5-4b-it GGUF model is the primary target for local inference.

Related upstream issues: #534, #535, #536

Vorherrschende Sprache: Rust
Sterne: 62
Forks: 5
Ø Merge: 2 Std. 27 Min.
Gemergte PRs (30 T.): 1

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus terraphim/terraphim-ai

Feature: Implement dynamic model fetching in pi-rust (refs: pi-agent-rust#92) Offen

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100

terraphim/terraphim-ai#885 · Erstellt am 22.5.2026
[feat] Evaluate rlmgrep for terraphim-ai codebase search Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 55/100

terraphim/terraphim-ai#871 · Erstellt am 16.5.2026
Learning-driven command correction: Phase 2 & 3 Offen

enhancement

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100

terraphim/terraphim-ai#810 · 2 Kommentare · Erstellt am 15.4.2026
Cross-run compounding via lesson injection and validation (Phase 3) Offen

enhancement

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 35/100

terraphim/terraphim-ai#729 · Erstellt am 27.3.2026
Add AgentEvolution haystack ServiceType (Phase 2) Offen

enhancement

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 35/100

terraphim/terraphim-ai#728 · Erstellt am 27.3.2026

Alle Issues in terraphim/terraphim-ai