aaif-goose / aaif-goose/goose

MLX models unable to be selected for local inference

Abierto
#10,960 3 comentarios 0 reacciones 1 asignado Reclamado por @jbg Ver en GitHub
Lenguaje dominante
Rust
Estrellas
54.2k
Forks
6.2k
Merge medio
3 d 4 h
PR fusionados (30 d)
240

Descripción

I'm trying to use `unsloth/Qwen3.6-27B-MLX-8bit` for local inference but I'm unable to select it as it reports `MLX safetensors snapshot (MLX support was not compiled in)` . If I look at the recent releases, it seems MLX model support is present. I was unable to locate any instructions on how to enable this support in desktop app.

**Expected behavior**
User should be able to use models built for MLX

---

**Screenshots**
Image

---

**Please provide the following information**
- **OS & Arch:** macOS (Apple Silicon) 26.6 (M5 Max)
- **Interface:** UI (Desktop App)
- **Version:** v1.45.0
- **Extensions enabled:** All (Investigation focused on core server process)
- **Provider & Model:** Local inference: unsloth/Qwen3.6-27B-MLX-8bit
---

Do not begin implementation until the issue reaches **Ready** on the [Goose Issues board](https://github.com/orgs/aaif-goose/projects/1).

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

El issue indica que la compatibilidad con MLX no se compiló en la aplicación de escritorio. Busca en la base de código de Rust flags de configuración de compilación o features relacionados con MLX, probablemente en Cargo.toml o en los scripts de compilación. Revisa el proceso del servidor que gestiona la carga de modelos locales. Determina cómo se habilita la compatibilidad con modelos en tiempo de compilación y qué se debe añadir para MLX. Verifícalo compilando con MLX habilitado y probando con el modelo unsloth/Qwen3.6-27B-MLX-8bit.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
rust
Área
ai-infra-agents, desktop
Tipo de issue
Error
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Activo
Claridad
Bastante claro
Aptitud para principiantes
45/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.