huggingface / huggingface/diffusers

Let's make `UNet2DConditionModel` take in not only class labels, but also continuous labels

Aperta
#10,257 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

stale
Lingua principale
Python
Stelle
34.5k
Fork
7.3k
Merge medio
3g 3h
PR unite (30g)
91

Descrizione

The current UNet2DConditoinModel can take in class labels as described here.

However, in my case and also some other people are using it with continuous labels and in that case there needs to be nn.Linear-like layer in addition to nn.Embedding in about this place

As I mentioned, there seems to be some needs for it, and even if the paper does not address the issue in the way I described, this paper (Continuous Conditional Diffusion Models) is one of the trials to use continuous labels in diffusion models.

To be clearer, I'm trying to generate images based on conditions that are regression-like values, such as heights and widths

Guida per i contributori

Apri la guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Direzione di ricerca

Inizia in src/diffusers/models/unets/unet_2d_condition.py, intorno alla riga indicata, esaminando la gestione dei class-label della classe UNet2DConditionModel. Esamina il percorso esistente relativo a nn.Embedding e la documentazione del modello collegata nell’issue prima di determinare l’API necessaria per label continui simili a quelli di una regressione. Il lavoro è completato quando il modello supporta label continui mantenendo il comportamento esistente per i class-label.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python, pytorch
Ambito
machine-learning
Tipo di issue
Funzionalità
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.