antirez / antirez/ds4

q4 variant of GLM-5.3-Flash does not run on a Mac Studio with 512GB

Ouverte
#889 3 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Langage dominant
C
Étoiles
22.3k
Forks
2.1k
Merge moyen
1 j 3 h
PR mergées (30 j)
4

Description

When executing ds4-server to run the Q4 variant of GLM-5.3-Flash, the following message appears:

ds4: GLM memory guard refused ctx=1000000 compact_cap=1000000 before GLM graph allocation
ds4: model map: 177.77 GiB
ds4: graph cache/scratch: 18.14 GiB (full KV 2.75 GiB, compact DSA 11.15 GiB, scratch 4.25 GiB)
ds4: required model+graph: 195.91 GiB; guard budget: 110.00 GiB (base 512.00 GiB, fraction 0.99, reserve 32.00 GiB, transient 0.00 GiB)
ds4: GLM-5.3 has a fixed 110 GiB per-rank ceiling; use a smaller --ctx, tensor parallelism, or SSD streaming

The machine is a Mac Studio with 512 GB. I would guess that there is a hardcoded value suited for a Q2 version.

Guide de contribution

Ouvrir le guide de contribution

Évaluation

Cette issue n'a pas encore été évaluée.

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.