aaif-goose / aaif-goose/goose

Goose vision capability with LM Studio provider using qwen/qwen3.8-27 and new LM Studio REST APIv1

Offen
#12,009 1 Kommentar 0 Reaktionen 1 zugewiesene Person Beansprucht von @jbg Auf GitHub ansehen
Vorherrschende Sprache
Rust
Sterne
54.2k
Forks
6.2k
Ø Merge
3 T. 4 Std.
Gemergte PRs (30 T.)
240

Beschreibung

I am replying to both issues 11895 and 11896. they are twofold but probably part of the same, attaching the latest diagnostics with an incomplete prompt on the topics I ran on my local AI inference setup, the one object of this email:

Goose does not have qwen/qwen3.8-27b included in its models catalog for LM Studio provider, this does not let it loads vision capability and it defaults to false setting.
Furthermore, Goose has not implemented the new LM Studio REST API v1 yet, which allows for more functions calling/endpoints, including the total token output, among many others (including vision capability endpoint). The openai-compatible API from LM studio does not have it. This probably impairs the auto-compact feature to work properly as well.

Let me know if you need additional info, otherwise the system setup is working great.

Thanks a lot

**Please provide the following information**
- **OS & Arch:** linux 7.2.4-201.nobara.fc44.x86_64 x86_64
- **Interface:** UI
- **Version:** 1.50.0
- **Extensions enabled:** computercontroller, developer, scheduler, code_execution, todo, Extension Manager, summarize, tom, chatrecall, apps, analyze, skills, summon, autovisualiser, memory, Fetch, Playwright, YouTube Transcript, Tavily Web Search
- **Provider & Model:** lmstudio - qwen/qwen3.8-27b

---

**Additional context**
Add any other context about the problem here.

[diagnostics_20260911_3.json](https://github.com/user-attachments/files/32098577/diagnostics_20260911_3.json)

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Sieh dir die LM Studio-Provider-Implementierung in der Codebasis an, wahrscheinlich in einem providers- oder integrations-Verzeichnis. Identifiziere, wo der Modelle-Katalog definiert ist und wo der API-Client mit LM Studio interagiert. Sieh dir die Dokumentation zur neuen LM Studio REST API v1 an, um den Endpunkt für die Vision-Fähigkeit und andere neue Funktionen zu verstehen. Die Arbeit umfasst die Aktualisierung des API-Clients, das Hinzufügen des qwen-Modells zum Katalog und die Aktivierung der Vision-Unterstützung.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Bereich
ai-infra-agents
Issue-Typ
Feature
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Aktiv
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
45/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.