huggingface / huggingface/diffusers
RAE+DiT support for published checkpoints
- Lingua principale
- Python
- Stelle
- 34.5k
- Fork
- 7.3k
- Merge medio
- 3g 3h
- PR unite (30g)
- 91
Descrizione
**Is your feature request related to a problem? Please describe.**
`diffusers` has `AutoencoderRAE` support via #13046. There is still no native latent generator path for the published RAE checkpoints. I've been following the research and was excited to see the RAE support; this comes next and would be exciting to have!
Already, the official RAE repo ships a custom Stage-2 DiT-like latent generator and public checkpoints/configs, but today these are not available through a native `diffusers` model + pipeline + checkpoint conversion flow.
**Describe the solution you'd like.**
In two stages, probably: (a) inference support for the checkpoints (b) training support.
I have some code ready that I've been able to use to get the checkpoints workable, could turn it around into a PR.
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Inizia dal supporto per AutoencoderRAE di #13046 ed esamina lo Stage-2 DiT-like latent generator del repository ufficiale RAE, inclusi i checkpoint e le configurazioni pubblicati. Definisci prima il flusso nativo di diffusers per il modello, la pipeline e la conversione dei checkpoint per l’inferenza, quindi valuta la fase separata di supporto all’addestramento. Il lavoro è completato quando i checkpoint pubblicati funzionano tramite un percorso nativo di diffusers.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python, pytorch
- Ambito
- machine-learning
- Tipo di issue
- Funzionalità
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 35/100