antirez/ds4

Xem trên GitHub

DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm

Star: 22.4k
Fork: 2.1k
Issue cho người mới đang mở: 0
Issue đã lập chỉ mục: 256
Merge trung bình: 1 ngày 3 giờ
Pull request đã merge (30 ngày): 4

Ngôn ngữ chính: C
Giấy phép: MIT
Lần push lên GitHub gần nhất: 13/9/2026
Lập chỉ mục gần nhất: 13/9/2026
Hướng dẫn đóng góp: Hướng dẫn đóng góp
Quy tắc ứng xử: Không có quy tắc ứng xử
Label cho người mới: help wanted

Đang mở Tất cả

Đã lập chỉ mục 255 issue đang mở

Segfault (exit 139) when --imatrix-out is combined with --role coordinator Đang mở

antirez/ds4#697 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
Extend live-prefix rewind (#668) beyond GLM: DeepSeek V4 Flash on Metal still cold-prefills exact-prefix retries Đang mở

antirez/ds4#698 · 1 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
ds4f-q2-q4 cannot be served resident on 128 GB DGX Spark (GB10) — global OOM during startup span preparation Đang mở

antirez/ds4#705 · 2 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
Laguna server batch prefill fails at >=7k tokens: routed MoE intermediate quantize launch invalid argument Đang mở

antirez/ds4#713 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
Show and tell: DSBrain (macOS menu bar for ds4-server) Đang mở

antirez/ds4#719 · 0 bình luận · 1 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
CUDA loader: Q4-class GGUF load transient is ~1.8× mapped tensor size on unified memory (GB10) — freezes 128 GB DGX Spark Đang mở

antirez/ds4#721 · 1 bình luận · 2 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
DSpark proposals systematically wrong under --ssd-streaming (DeepSeek-V4-Flash-0731, Metal): enabling patch observed, miss_first=100% Đang mở

antirez/ds4#724 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
M3 Ultra 512 Testing results with DSv4F 0731 Đang mở

antirez/ds4#726 · 1 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
DSpark: per-accepted-token replay cancels ~100% of the speculative saving (M3 Ultra measurements, net_saved = -3.98 s) Đang mở

antirez/ds4#731 · 3 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
CUDA --ssd-streaming: MMQ prefill tier OOMs on a 12 GB card (main b030961) Đang mở

antirez/ds4#732 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
DSpark net-negative on M3 Ultra + MXFP4 despite 82.8% accept rate — independent confirmation of #695 replay/verify overhead Đang mở

antirez/ds4#733 · 9 bình luận · 1 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
CUDA --ssd-streaming: prefill dies with illegal memory access at exactly 128 prompt tokens Đang mở

antirez/ds4#734 · 1 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
ds4-server failed to run with 4xA100/80G (prefill failed) Đang mở

antirez/ds4#735 · 1 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
OpenVino support Đang mở

antirez/ds4#736 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
Responses: apply_patch (and other custom tools) always emitted as function_call — Codex aborts with 'invoked with incompatible payload' Đang mở

antirez/ds4#745 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
DeepSeek-V4-Flash: native MTP --mtp-draft>=2 corrupts output (BOS-token injection) at default (non-strict) verify — root cause + fix Đang mở

antirez/ds4#750 · 1 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
DeepSeek-V4-Flash: add Q5_K/Q4_K dense-attn support (dp4a k-quant dot + fused qkv-pair/attn-out) so Q5_K-backbone GGUFs load (format support; perf caveat inside) Đang mở

antirez/ds4#751 · 1 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
CUDA: illegal memory access mid-prefill on GB10 poisons the context; server stays alive serving errors Đang mở

antirez/ds4#759 · 3 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
CUDA: B1 indexer misses WMMA and 1M HCA falls off the 7936-row fast path Đang mở

antirez/ds4#762 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
Metal/M4 Max 128GB: focused Flash 0731 Q2 performance campaign (target ~40 tok/s decode and faster long-context prefill) Đang mở

antirez/ds4#768 · 2 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
ds4_test fails 29 fusion assertions on M4 — fusion whitelists only admit M3/M5 device names Đang mở

antirez/ds4#769 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
KV disk cache can be made O(N) instead of O(N^2) Đang mở

antirez/ds4#771 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
GB10 (DGX Spark): CUDA decode is at ~85-90% of measured memory bandwidth; decode-side micro-optimization is exhausted Đang mở

antirez/ds4#773 · 0 bình luận · 1 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
Low-VRAM CUDA SSD-streaming results: 8 GB expert budget outperforms 10 GB on RTX 5070 Ti Laptop Đang mở

antirez/ds4#780 · 2 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
When using Codex, once I get RESPPROTO TOOLS finish=stop the prompt has to be processed again, cache rebuilt. Đang mở

antirez/ds4#781 · 2 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
Non-thinking streaming output broken after commit fe2d3b0 Đang mở

antirez/ds4#783 · 2 bình luận · 1 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
ds4-server does not support --batched-session > 1 Đang mở

antirez/ds4#784 · 2 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
client disconnect mid-generation not detected on clean TCP FIN (Darwin poll bug) Đang mở

antirez/ds4#786 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
Cannot create a session on a discrete NVIDIA GPU: spurious cudaMalloc OOM (four causes, two with patches) Đang mở

antirez/ds4#791 · 3 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
test_metal_mpp_equivalence can pass without varying the Metal4 route (non-discriminating on CUDA) Đang mở

antirez/ds4#792 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
speed-bench: variant harnesses show slot-order bias — control-vs-control logits mismatch (bit-exact A/B impossible on this config) Đang mở

antirez/ds4#793 · 1 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
ssd-streaming: --ssd-streaming-cache-experts budget not enforced (working set exceeds declared cap ~2x on cold expert-set transition) Đang mở

antirez/ds4#802 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
CUDA: prefill mixed scalar fallback has a fixed `scores[512]` and no `n_score` cap (ROCm / decode already check) Đang mở

antirez/ds4#803 · 1 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
Disk KV cache can be reused across different model weights with the same model_id Đang mở

antirez/ds4#805 · 1 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
DeepSeek-V4-Pro-0813 support Đang mở

antirez/ds4#807 · 1 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
Support --ssd-streaming alongside --mtp / --dspark Đang mở

antirez/ds4#809 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
M5 Pro 64 GB, --ssd-streaming: an 8 GB expert cache is faster than a 32 GB expert cache Đang mở

antirez/ds4#810 · 2 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
bug to support deepseek harness memory access issue Đang mở

antirez/ds4#812 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
Stateless chat clients never extend the live KV session on Flash/Metal: measurements, the anchor that saves them, and the replay recipe that fixes it Đang mở

antirez/ds4#816 · 2 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
Bound unchecked expert-output size products in ds4quant (heap-buffer-overflow write) Đang mở

antirez/ds4#823 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
Reject Q2K repack candidates whose dims truncate to uint32 kernel params (OOB GPU write) Đang mở

antirez/ds4#825 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
ds4-agent advertises ROCm backend options but rejects them on a Strix Halo build Đang mở

antirez/ds4#829 · 3 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
ds4 server memory leak? Đang mở

antirez/ds4#836 · 4 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
Tagged releases would unlock downstream packaging Đang mở

antirez/ds4#839 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
SSD streaming: 34% faster at identical settings on DeepSeek V4 Flash (M4 Max 36GB), output byte identical Đang mở

antirez/ds4#840 · 0 bình luận · 1 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
documentation: Pi Agent example has thinking modes wrong Đang mở

antirez/ds4#842 · 2 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
--layers maps the shard as N disjoint Metal buffers even when the range spans the whole file (~77x decode slowdown) Đang mở

antirez/ds4#845 · 2 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
CUDA: illegal memory access in indexer_topk_stream512_kernel on prefills above ~32k tokens (sm_120) Đang mở

antirez/ds4#847 · 2 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
Support DeepSeek V4 Flash Vision Đang mở

antirez/ds4#851 · 1 bình luận · 4 reaction · 0 người được giao · Lập chỉ mục 13/9/2026
bpe_emit_piece merge loop is O(n²): large prompts take minutes to tokenize Đang mở

antirez/ds4#853 · 0 bình luận · 1 reaction · 0 người được giao · Lập chỉ mục 13/9/2026

antirez/ds4

Nhận issue mới trong hộp thư của bạn