huggingface / huggingface/diffusers
Let's make `UNet2DConditionModel` take in not only class labels, but also continuous labels
Nessuno ha ancora preso questa issue.
- Lingua principale
- Python
- Stelle
- 34.5k
- Fork
- 7.3k
- Merge medio
- 3g 3h
- PR unite (30g)
- 91
Descrizione
The current UNet2DConditoinModel can take in class labels as described here.
However, in my case and also some other people are using it with continuous labels and in that case there needs to be nn.Linear-like layer in addition to nn.Embedding in about this place
As I mentioned, there seems to be some needs for it, and even if the paper does not address the issue in the way I described, this paper (Continuous Conditional Diffusion Models) is one of the trials to use continuous labels in diffusion models.
To be clearer, I'm trying to generate images based on conditions that are regression-like values, such as heights and widths
Guida per i contributori
Apri la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Direzione di ricerca
Inizia in src/diffusers/models/unets/unet_2d_condition.py, intorno alla riga indicata, esaminando la gestione dei class-label della classe UNet2DConditionModel. Esamina il percorso esistente relativo a nn.Embedding e la documentazione del modello collegata nell’issue prima di determinare l’API necessaria per label continui simili a quelli di una regressione. Il lavoro è completato quando il modello supporta label continui mantenendo il comportamento esistente per i class-label.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python, pytorch
- Ambito
- machine-learning
- Tipo di issue
- Funzionalità
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 35/100