huggingface / huggingface/diffusers
Add KV Cache for Autoregressive Inference
Aperta
@zucchini-nlp ci sta già lavorando.
Dal 21/11/2025.
advanced
consider-for-modular-diffusers
contributions-welcome
modular-diffusers
stale
- Lingua principale
- Python
- Stelle
- 34.5k
- Fork
- 7.3k
- Merge medio
- 3g 3h
- PR unite (30g)
- 91
Descrizione
Autoregressive Diffusion Techniques such as Self Forcing rely on a rolling KV Cache across video frame chunks to transfer information from past context frames to the current frames being denoised.
This rolling KV Cache design (or variants similar to it) is likely to show up in other types of long video generation/ world models, so it would be good to see if we can support it natively in Diffusers.
Tasks
- Implement rolling KV Cache seen in Self Forcing using Diffusers' cache hooks design.
- Add a Modular Block to Wan Modular Pipelines that uses this rolling KV Cache to perform autoregressive inference.
Guida per i contributori
Apri la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Valutazione
Questa issue non è ancora stata valutata.