antirez / antirez/ds4

DeepSeek-V4-Flash-DSpark

Aperta
#468 45 commenti 24 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
C
Stelle
22.4k
Fork
2.1k
Merge medio
2g 13h
PR unite (30g)
5

Descrizione

DeepSeek released [DeepSeek-V4-Flash-DSpark variant](https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-DSpark) of the V4 Flash model with built-in speculative decoding and described the methodology in a [companion paper](https://github.com/deepseek-ai/DeepSpec/blob/main/DSpark_paper.pdf). Given the focus on performance of running the model locally, I think it makes sense to explore how DSpark can be integrated into ds4.

It seems that DSpark provides considerable improvement in tok/s performance with fixed concurrency over previous generation of speculative decoding (MTP):

Image

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Start with the linked DeepSeek-V4-Flash-DSpark model page and DSpark paper to understand the proposed speculative-decoding method. Then inspect ds4's C implementation and current inference paths to identify where DSpark could fit; done means a working integration with tok/s performance compared against the existing MTP approach.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
c
Ambito
machine-learning, performance
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Tranquilla
Chiarezza
Da chiarire
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.