huggingface / huggingface/diffusers
[examples/controlnet/train_controlnet_sd3.py] training SD3.5 large controlnets from stability
- Lenguaje dominante
- Python
- Estrellas
- 34.5k
- Forks
- 7.3k
- Merge medio
- 3 d 3 h
- PR fusionados (30 d)
- 91
Descripción
It is currently not possible to fine-tune controlnets for SD3.5 large from stability ai like stabilityai/stable-diffusion-3.5-large-controlnet-blur due to the handling of positional embeddings.
I have extended and testet the script accordingly since I need it for my use case. Would this be interesting and should I do a PR?
@sayakpaul
Guía de contribución
Línea de trabajo
Comienza con examples/controlnet/train_controlnet_sd3.py y compara el manejo de los embeddings posicionales con stabilityai/stable-diffusion-3.5-large-controlnet-blur. Reproduce el flujo de fine-tuning de SD3.5 Large y, después, verifica que el script admita el modelo controlnet citado sin errores de embeddings posicionales.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- python, pytorch
- Área
- machine-learning
- Tipo de issue
- Error
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Estancado
- Claridad
- Bastante claro
- Aptitud para principiantes
- 35/100