aaif-goose / aaif-goose/goose

MLX models unable to be selected for local inference

Đang mở
#10,960 3 bình luận 0 reaction 1 người được giao Được @jbg nhận Xem trên GitHub
Ngôn ngữ chính
Rust
Star
54.2k
Fork
6.2k
Merge trung bình
3 ngày 4 giờ
Pull request đã merge (30 ngày)
240

Mô tả

I'm trying to use `unsloth/Qwen3.6-27B-MLX-8bit` for local inference but I'm unable to select it as it reports `MLX safetensors snapshot (MLX support was not compiled in)` . If I look at the recent releases, it seems MLX model support is present. I was unable to locate any instructions on how to enable this support in desktop app.

**Expected behavior**
User should be able to use models built for MLX

---

**Screenshots**
Image

---

**Please provide the following information**
- **OS & Arch:** macOS (Apple Silicon) 26.6 (M5 Max)
- **Interface:** UI (Desktop App)
- **Version:** v1.45.0
- **Extensions enabled:** All (Investigation focused on core server process)
- **Provider & Model:** Local inference: unsloth/Qwen3.6-27B-MLX-8bit
---

Do not begin implementation until the issue reaches **Ready** on the [Goose Issues board](https://github.com/orgs/aaif-goose/projects/1).

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

The issue indicates MLX support was not compiled into the desktop app. Look for build configuration flags or features related to MLX in the Rust codebase, likely in Cargo.toml or build scripts. Check the server process that handles local model loading. Determine how model support is enabled at compile-time and what needs to be added for MLX. Verify by building with MLX enabled and testing with the unsloth/Qwen3.6-27B-MLX-8bit model.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
rust
Lĩnh vực
ai-infra-agents, desktop
Loại issue
Lỗi
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Sôi nổi
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
45/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.