huggingface / huggingface/diffusers

[feature] Add context parallel cp_plan support to many mainstream models

Aperta
#12,603 4 commenti 0 reazioni 0 assegnatari Vedi su GitHub
stale
Lingua principale
Python
Stelle
34.5k
Fork
7.3k
Merge medio
3g 3h
PR unite (30g)
91

Descrizione

I am working in cache-dit, where I use diffusers as the **native** context parallel backend and extensively utilize custom cp_plan to support context parallel for mainstream models (and has also make many models worked with context parallel + attn_mask via native attn backend). These models include: FLUX, Qwen-Image, LTXVideo, Wan, HunyuanImage, HunyuanVideo, CogVideoX, CogView3Plus, CogView4, Qwen-Image-Lightning, ConsisID, Chroma, VisualCloze, etc. If you wish to integrate these implementations into diffusers, I am willing to submit some PRs to provide support. I will keep a long-term focus on the context parallel feature of diffusers and hope it can become an extremely user-friendly function. our experimental cp_planners are at: [cp_planners](https://github.com/vipshop/cache-dit/tree/main/src/cache_dit/parallelism/backends/native_diffusers/context_parallelism)

Image

@sayakpaul @yiyixuxu @DN6

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia esaminando i cp_planners sperimentali in cache-dit/src/cache_dit/parallelism/backends/native_diffusers/context_parallelism e confrontali con il supporto esistente di context-parallel in diffusers. L'issue elenca FLUX, Qwen-Image, LTXVideo, Wan, HunyuanImage, HunyuanVideo e altri modelli, ma non indica file o test di diffusers. Per considerare il lavoro completato, sarebbero necessari un piano di integrazione circoscritto e il supporto per i modelli mainstream selezionati.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python, pytorch
Ambito
distributed-systems, machine-learning
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
25/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.