MLX models unable to be selected for local inference
- Lenguaje dominante
- Rust
- Estrellas
- 54.2k
- Forks
- 6.2k
- Merge medio
- 3 d 4 h
- PR fusionados (30 d)
- 240
Descripción
I'm trying to use `unsloth/Qwen3.6-27B-MLX-8bit` for local inference but I'm unable to select it as it reports `MLX safetensors snapshot (MLX support was not compiled in)` . If I look at the recent releases, it seems MLX model support is present. I was unable to locate any instructions on how to enable this support in desktop app.
**Expected behavior**
User should be able to use models built for MLX
---
**Screenshots**
---
**Please provide the following information**
- **OS & Arch:** macOS (Apple Silicon) 26.6 (M5 Max)
- **Interface:** UI (Desktop App)
- **Version:** v1.45.0
- **Extensions enabled:** All (Investigation focused on core server process)
- **Provider & Model:** Local inference: unsloth/Qwen3.6-27B-MLX-8bit
---
Do not begin implementation until the issue reaches **Ready** on the [Goose Issues board](https://github.com/orgs/aaif-goose/projects/1).
Guía de contribución
Línea de trabajo
El issue indica que la compatibilidad con MLX no se compiló en la aplicación de escritorio. Busca en la base de código de Rust flags de configuración de compilación o features relacionados con MLX, probablemente en Cargo.toml o en los scripts de compilación. Revisa el proceso del servidor que gestiona la carga de modelos locales. Determina cómo se habilita la compatibilidad con modelos en tiempo de compilación y qué se debe añadir para MLX. Verifícalo compilando con MLX habilitado y probando con el modelo unsloth/Qwen3.6-27B-MLX-8bit.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- rust
- Área
- ai-infra-agents, desktop
- Tipo de issue
- Error
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Activo
- Claridad
- Bastante claro
- Aptitud para principiantes
- 45/100