antirez / antirez/ds4

q4 variant of GLM-5.3-Flash does not run on a Mac Studio with 512GB

Đang mở
#889 3 bình luận 0 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
C
Star
22.3k
Fork
2.1k
Merge trung bình
1 ngày 3 giờ
Pull request đã merge (30 ngày)
4

Mô tả

When executing ds4-server to run the Q4 variant of GLM-5.3-Flash, the following message appears:

ds4: GLM memory guard refused ctx=1000000 compact_cap=1000000 before GLM graph allocation
ds4: model map: 177.77 GiB
ds4: graph cache/scratch: 18.14 GiB (full KV 2.75 GiB, compact DSA 11.15 GiB, scratch 4.25 GiB)
ds4: required model+graph: 195.91 GiB; guard budget: 110.00 GiB (base 512.00 GiB, fraction 0.99, reserve 32.00 GiB, transient 0.00 GiB)
ds4: GLM-5.3 has a fixed 110 GiB per-rank ceiling; use a smaller --ctx, tensor parallelism, or SSD streaming

The machine is a Mac Studio with 512 GB. I would guess that there is a hardcoded value suited for a Q2 version.

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Đánh giá

Issue này chưa được đánh giá.

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.