huggingface / huggingface/diffusers

RAE+DiT support for published checkpoints

Aperta
#13,225 1 commento 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
Python
Stelle
34.5k
Fork
7.3k
Merge medio
3g 3h
PR unite (30g)
91

Descrizione

**Is your feature request related to a problem? Please describe.**
`diffusers` has `AutoencoderRAE` support via #13046. There is still no native latent generator path for the published RAE checkpoints. I've been following the research and was excited to see the RAE support; this comes next and would be exciting to have!

Already, the official RAE repo ships a custom Stage-2 DiT-like latent generator and public checkpoints/configs, but today these are not available through a native `diffusers` model + pipeline + checkpoint conversion flow.

**Describe the solution you'd like.**
In two stages, probably: (a) inference support for the checkpoints (b) training support.
I have some code ready that I've been able to use to get the checkpoints workable, could turn it around into a PR.

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia dal supporto per AutoencoderRAE di #13046 ed esamina lo Stage-2 DiT-like latent generator del repository ufficiale RAE, inclusi i checkpoint e le configurazioni pubblicati. Definisci prima il flusso nativo di diffusers per il modello, la pipeline e la conversione dei checkpoint per l’inferenza, quindi valuta la fase separata di supporto all’addestramento. Il lavoro è completato quando i checkpoint pubblicati funzionano tramite un percorso nativo di diffusers.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python, pytorch
Ambito
machine-learning
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.