antirez/ds4

Auf GitHub ansehen

DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm

Sterne: 22.4k
Forks: 2.1k
Offene Anfänger-Issues: 0
Indexierte Issues: 256
Ø Merge: 1 T. 3 Std.
Gemergte PRs (30 T.): 4

Vorherrschende Sprache: C
Lizenz: MIT
Letzter GitHub-Push: 13.9.2026
Zuletzt indexiert: 13.9.2026
Beitragsleitfaden: Beitragsleitfaden
Verhaltenskodex: Kein Verhaltenskodex
Anfänger-Labels: help wanted

Offen Alle

Bisher 255 offene Issues indexiert

test_deepseek41_metal: new router check fails on M1 Ultra (pre-M5); sqrt(softplus) compared at 3e-6 but 1.0f+exp is ~0.7% imprecise Offen

antirez/ds4#1039 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 14.9.2026
AMD GPU (ROCm/HIP) and especially Strix Halo discussion group Offen

antirez/ds4#16 · 266 Kommentare · 24 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
SSD tree cache KV cache Offen

antirez/ds4#17 · 3 Kommentare · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
Feature Request: Add HTTP CORS Support Offen

antirez/ds4#20 · 1 Kommentar · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
Question: any interest in OpenAI Responses API support for Codex compatibility? Offen

antirez/ds4#22 · 2 Kommentare · 4 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Context Window Exhaustion Causes Unterminated Tool Calls Offen

antirez/ds4#48 · 1 Kommentar · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
Speculative Decoding via "Draft KV Stitching" Offen

antirez/ds4#63 · 1 Kommentar · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
can you add deepseek q8 ? Offen

antirez/ds4#64 · 3 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
FP4 inference for 4 bit Offen

correctness

antirez/ds4#74 · 8 Kommentare · 2 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Feature request: Natural Language Level Speculative Decoding with heterogeneous Draft Models (e.g. Qwen 2B) Offen

help wanted speed would-skip-this

antirez/ds4#80 · 2 Kommentare · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
Please provide a ModelScope mirror for Chinese users who cannot easily download large models from Hugging Face Offen

antirez/ds4#85 · 2 Kommentare · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
ds4 parser vulnerability: user prompt can insert special tokens that are interpreted by the model Offen

antirez/ds4#95 · 1 Kommentar · 4 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
[feature] Offload KV cache from GPU (VRAM) to RAM Offen

antirez/ds4#108 · 2 Kommentare · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
Question: why does readme recommend using openai-completions api for coding agent usage. Offen

documentation

antirez/ds4#113 · 3 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
API access security verification Offen

antirez/ds4#120 · 2 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Multi-GPU for nvidia Offen

cuda distributed-inference ideas-to-explore

antirez/ds4#123 · 29 Kommentare · 13 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Logits Processor Support Offen

would-skip-this

antirez/ds4#142 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Empirical RSS curve for incremental ctx loading (10K to 250K) on M4 Max 128GB - is --kv-disk-dir masking the indexer growth? Offen

antirez/ds4#164 · 2 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
fedora f44: rocm: build fails to find libstdc++ Offen

antirez/ds4#179 · 6 Kommentare · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
Request: Split large models into chunks Offen

antirez/ds4#188 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Server: expose directional steering as a model-callable DSML tool Offen

antirez/ds4#190 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
MoE disk offload Offen

antirez/ds4#202 · 3 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
我在 GitHub 上的首次留言，献给让 V4-Flash 在 Mac 上奔跑的大神！ Offen

antirez/ds4#208 · 0 Kommentare · 13 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Roadmap question: multi-session / concurrent multi-user inference support Offen

ideas-to-explore

antirez/ds4#209 · 8 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Add support for structured outputs Offen

antirez/ds4#210 · 12 Kommentare · 3 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Return deepseek-chat in GET models Offen

antirez/ds4#216 · 3 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Shared Library Support Offen

antirez/ds4#217 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
support for vulkan backend Offen

antirez/ds4#237 · 3 Kommentare · 14 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
ds4-agent: separate runtime asset root from workspace cwd Offen

antirez/ds4#240 · 1 Kommentar · 5 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
ds4 / DGX Spark / MTP and Performance Improvements Offen

cuda speed

antirez/ds4#244 · 9 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
download_model.sh pro-imatrix --> error 400 Offen

antirez/ds4#249 · 5 Kommentare · 2 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Support for 2 GX10s cluster with 128GB each - support tensor parallelism Offen

antirez/ds4#262 · 2 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
cuda prefill failed on NVIDIA A100-SXM4-80GB during both inference and bench Offen

antirez/ds4#284 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
on naming Offen

antirez/ds4#288 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Attach file from open-webui does not work Offen

antirez/ds4#291 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Distributed CUDA worker host-registers the whole GGUF, not just its layer slice → Q4 OOM on 128GB DGX Spark Offen

antirez/ds4#293 · 8 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
How to choose between models for the 512GB max m3ultra Offen

antirez/ds4#303 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Support distributed prefill with local decode Offen

antirez/ds4#304 · 4 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Onboarding skill for DS4: a docs-grounded agent skill tutor Offen

antirez/ds4#309 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Poor mans parallelism: ~1.6× from 2 processes Offen

antirez/ds4#314 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Unclosed </think> before tool call stalls agent session (finish=stop, no tool call delivered) Offen

antirez/ds4#318 · 8 Kommentare · 9 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
SSE body read failed: DeepSeek stream timed out after 660000ms Offen

antirez/ds4#329 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Server does not abort prefill when client disconnects Offen

antirez/ds4#333 · 1 Kommentar · 5 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Health checkpoint Offen

antirez/ds4#334 · 0 Kommentare · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
Distributed SSD streaming Offen

antirez/ds4#340 · 3 Kommentare · 3 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Feature request: more information in usage Offen

antirez/ds4#342 · 0 Kommentare · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
ROCm is just a "CUDA" alternative, isn't it? Offen

antirez/ds4#357 · 0 Kommentare · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
ROCm: high-context OOM on large-VRAM-carveout APUs (Strix Halo) — general tensor allocator is device-only Offen

antirez/ds4#359 · 2 Kommentare · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
ROCm/Windows: native AMD HIP SDK build for gfx1151 + >2 GiB staged-read off_t truncation Offen

antirez/ds4#360 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
KV cache invalidated on every turn by client-injected transient metadata in user messages Offen

antirez/ds4#364 · 6 Kommentare · 3 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026

antirez/ds4

Neue Issues direkt in Ihr Postfach