antirez/ds4

Vedi su GitHub

DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm

Stelle: 22.4k
Fork: 2.1k
Issue aperte per principianti: 0
Issue indicizzate: 256
Merge medio: 2g 13h
PR unite (30g): 5

Lingua principale: C
Licenza: MIT
Ultimo push su GitHub: 13/9/2026
Ultima indicizzazione: 13/9/2026
Guida per i contributori: Guida per i contributori
Codice di condotta: Nessun codice di condotta
Label per principianti: help wanted

Aperta Tutte

255 issue aperte indicizzate

test_deepseek41_metal: new router check fails on M1 Ultra (pre-M5); sqrt(softplus) compared at 3e-6 but 1.0f+exp is ~0.7% imprecise Aperta

antirez/ds4#1039 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 14/9/2026
AMD GPU (ROCm/HIP) and especially Strix Halo discussion group Aperta

antirez/ds4#16 · 266 commenti · 24 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
SSD tree cache KV cache Aperta

antirez/ds4#17 · 3 commenti · 1 reazione · 0 assegnatari · Indicizzata il 13/9/2026
Feature Request: Add HTTP CORS Support Aperta

antirez/ds4#20 · 1 commento · 1 reazione · 0 assegnatari · Indicizzata il 13/9/2026
Question: any interest in OpenAI Responses API support for Codex compatibility? Aperta

antirez/ds4#22 · 2 commenti · 4 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Context Window Exhaustion Causes Unterminated Tool Calls Aperta

antirez/ds4#48 · 1 commento · 1 reazione · 0 assegnatari · Indicizzata il 13/9/2026
Speculative Decoding via "Draft KV Stitching" Aperta

antirez/ds4#63 · 1 commento · 1 reazione · 0 assegnatari · Indicizzata il 13/9/2026
can you add deepseek q8 ? Aperta

antirez/ds4#64 · 3 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
FP4 inference for 4 bit Aperta

correctness

antirez/ds4#74 · 8 commenti · 2 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Feature request: Natural Language Level Speculative Decoding with heterogeneous Draft Models (e.g. Qwen 2B) Aperta

help wanted speed would-skip-this

antirez/ds4#80 · 2 commenti · 1 reazione · 0 assegnatari · Indicizzata il 13/9/2026
Please provide a ModelScope mirror for Chinese users who cannot easily download large models from Hugging Face Aperta

antirez/ds4#85 · 2 commenti · 1 reazione · 0 assegnatari · Indicizzata il 13/9/2026
ds4 parser vulnerability: user prompt can insert special tokens that are interpreted by the model Aperta

antirez/ds4#95 · 1 commento · 4 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
[feature] Offload KV cache from GPU (VRAM) to RAM Aperta

antirez/ds4#108 · 2 commenti · 1 reazione · 0 assegnatari · Indicizzata il 13/9/2026
Question: why does readme recommend using openai-completions api for coding agent usage. Aperta

documentation

antirez/ds4#113 · 3 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
API access security verification Aperta

antirez/ds4#120 · 2 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Multi-GPU for nvidia Aperta

cuda distributed-inference ideas-to-explore

antirez/ds4#123 · 29 commenti · 13 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Logits Processor Support Aperta

would-skip-this

antirez/ds4#142 · 1 commento · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Empirical RSS curve for incremental ctx loading (10K to 250K) on M4 Max 128GB - is --kv-disk-dir masking the indexer growth? Aperta

antirez/ds4#164 · 2 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
fedora f44: rocm: build fails to find libstdc++ Aperta

antirez/ds4#179 · 6 commenti · 1 reazione · 0 assegnatari · Indicizzata il 13/9/2026
Request: Split large models into chunks Aperta

antirez/ds4#188 · 1 commento · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Server: expose directional steering as a model-callable DSML tool Aperta

antirez/ds4#190 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
MoE disk offload Aperta

antirez/ds4#202 · 3 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
我在 GitHub 上的首次留言，献给让 V4-Flash 在 Mac 上奔跑的大神！ Aperta

antirez/ds4#208 · 0 commenti · 13 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Roadmap question: multi-session / concurrent multi-user inference support Aperta

ideas-to-explore

antirez/ds4#209 · 8 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Add support for structured outputs Aperta

antirez/ds4#210 · 12 commenti · 3 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Return deepseek-chat in GET models Aperta

antirez/ds4#216 · 3 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Shared Library Support Aperta

antirez/ds4#217 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
support for vulkan backend Aperta

antirez/ds4#237 · 3 commenti · 14 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
ds4-agent: separate runtime asset root from workspace cwd Aperta

antirez/ds4#240 · 1 commento · 5 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
ds4 / DGX Spark / MTP and Performance Improvements Aperta

cuda speed

antirez/ds4#244 · 9 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
download_model.sh pro-imatrix --> error 400 Aperta

antirez/ds4#249 · 5 commenti · 2 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Support for 2 GX10s cluster with 128GB each - support tensor parallelism Aperta

antirez/ds4#262 · 2 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
cuda prefill failed on NVIDIA A100-SXM4-80GB during both inference and bench Aperta

antirez/ds4#284 · 1 commento · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
on naming Aperta

antirez/ds4#288 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Attach file from open-webui does not work Aperta

antirez/ds4#291 · 1 commento · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Distributed CUDA worker host-registers the whole GGUF, not just its layer slice → Q4 OOM on 128GB DGX Spark Aperta

antirez/ds4#293 · 8 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
How to choose between models for the 512GB max m3ultra Aperta

antirez/ds4#303 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Support distributed prefill with local decode Aperta

antirez/ds4#304 · 4 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Onboarding skill for DS4: a docs-grounded agent skill tutor Aperta

antirez/ds4#309 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Poor mans parallelism: ~1.6× from 2 processes Aperta

antirez/ds4#314 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Unclosed </think> before tool call stalls agent session (finish=stop, no tool call delivered) Aperta

antirez/ds4#318 · 8 commenti · 9 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
SSE body read failed: DeepSeek stream timed out after 660000ms Aperta

antirez/ds4#329 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Server does not abort prefill when client disconnects Aperta

antirez/ds4#333 · 1 commento · 5 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Health checkpoint Aperta

antirez/ds4#334 · 0 commenti · 1 reazione · 0 assegnatari · Indicizzata il 13/9/2026
Distributed SSD streaming Aperta

antirez/ds4#340 · 3 commenti · 3 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Feature request: more information in usage Aperta

antirez/ds4#342 · 0 commenti · 1 reazione · 0 assegnatari · Indicizzata il 13/9/2026
ROCm is just a "CUDA" alternative, isn't it? Aperta

antirez/ds4#357 · 0 commenti · 1 reazione · 0 assegnatari · Indicizzata il 13/9/2026
ROCm: high-context OOM on large-VRAM-carveout APUs (Strix Halo) — general tensor allocator is device-only Aperta

antirez/ds4#359 · 2 commenti · 1 reazione · 0 assegnatari · Indicizzata il 13/9/2026
ROCm/Windows: native AMD HIP SDK build for gfx1151 + >2 GiB staged-read off_t truncation Aperta

antirez/ds4#360 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
KV cache invalidated on every turn by client-injected transient metadata in user messages Aperta

antirez/ds4#364 · 6 commenti · 3 reazioni · 0 assegnatari · Indicizzata il 13/9/2026

antirez/ds4

Ricevi le nuove issue nella tua casella