huggingface / huggingface/diffusers
Finalize Guidelines for Ulysses based context parallel attention
- Lingua principale
- Python
- Stelle
- 34.5k
- Fork
- 7.3k
- Merge medio
- 3g 3h
- PR unite (30g)
- 91
Descrizione
The PR https://github.com/huggingface/diffusers/pull/13924 added support for Ulysses Context parallel attention but looks like Library wide support for such an attention pattern still needs to be decided.
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Inizia esaminando PR #13924, che ha aggiunto il supporto per Ulysses Context Parallel attention. L’issue non indica file, test o punti di ingresso, quindi determina innanzitutto l’ambito a livello dell’intera libreria e le decisioni ancora necessarie per questo pattern di attenzione. Il lavoro è completato quando le linee guida per il supporto e la loro applicazione prevista nell’intera libreria sono state concordate.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python, pytorch
- Ambito
- distributed-systems, machine-learning
- Tipo di issue
- Funzionalità
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Tranquilla
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 25/100