huggingface / huggingface/diffusers
[feature] Add context parallel cp_plan support to many mainstream models
- Lingua principale
- Python
- Stelle
- 34.5k
- Fork
- 7.3k
- Merge medio
- 3g 3h
- PR unite (30g)
- 91
Descrizione
I am working in cache-dit, where I use diffusers as the **native** context parallel backend and extensively utilize custom cp_plan to support context parallel for mainstream models (and has also make many models worked with context parallel + attn_mask via native attn backend). These models include: FLUX, Qwen-Image, LTXVideo, Wan, HunyuanImage, HunyuanVideo, CogVideoX, CogView3Plus, CogView4, Qwen-Image-Lightning, ConsisID, Chroma, VisualCloze, etc. If you wish to integrate these implementations into diffusers, I am willing to submit some PRs to provide support. I will keep a long-term focus on the context parallel feature of diffusers and hope it can become an extremely user-friendly function. our experimental cp_planners are at: [cp_planners](https://github.com/vipshop/cache-dit/tree/main/src/cache_dit/parallelism/backends/native_diffusers/context_parallelism)
@sayakpaul @yiyixuxu @DN6
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Inizia esaminando i cp_planners sperimentali in cache-dit/src/cache_dit/parallelism/backends/native_diffusers/context_parallelism e confrontali con il supporto esistente di context-parallel in diffusers. L'issue elenca FLUX, Qwen-Image, LTXVideo, Wan, HunyuanImage, HunyuanVideo e altri modelli, ma non indica file o test di diffusers. Per considerare il lavoro completato, sarebbero necessari un piano di integrazione circoscritto e il supporto per i modelli mainstream selezionati.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python, pytorch
- Ambito
- distributed-systems, machine-learning
- Tipo di issue
- Funzionalità
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 25/100