huggingface / huggingface/diffusers
Add KV Cache for Autoregressive Inference
Offen
@zucchini-nlp arbeitet bereits daran.
Seit 21.11.2025.
advanced
consider-for-modular-diffusers
contributions-welcome
modular-diffusers
stale
- Vorherrschende Sprache
- Python
- Sterne
- 34.5k
- Forks
- 7.3k
- Ø Merge
- 3 T. 3 Std.
- Gemergte PRs (30 T.)
- 91
Beschreibung
Autoregressive Diffusion Techniques such as Self Forcing rely on a rolling KV Cache across video frame chunks to transfer information from past context frames to the current frames being denoised.
This rolling KV Cache design (or variants similar to it) is likely to show up in other types of long video generation/ world models, so it would be good to see if we can support it natively in Diffusers.
Tasks
- Implement rolling KV Cache seen in Self Forcing using Diffusers' cache hooks design.
- Add a Modular Block to Wan Modular Pipelines that uses this rolling KV Cache to perform autoregressive inference.
Beitragsleitfaden
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Bewertung
Dieses Issue wurde noch nicht bewertet.