huggingface / huggingface/diffusers

[examples/controlnet/train_controlnet_sd3.py] training SD3.5 large controlnets from stability

Abierto
#11,068 2 comentarios 0 reacciones 0 asignados Ver en GitHub
stale
Lenguaje dominante
Python
Estrellas
34.5k
Forks
7.3k
Merge medio
3 d 3 h
PR fusionados (30 d)
91

Descripción

It is currently not possible to fine-tune controlnets for SD3.5 large from stability ai like stabilityai/stable-diffusion-3.5-large-controlnet-blur due to the handling of positional embeddings.

I have extended and testet the script accordingly since I need it for my use case. Would this be interesting and should I do a PR?

@sayakpaul

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

Comienza con examples/controlnet/train_controlnet_sd3.py y compara el manejo de los embeddings posicionales con stabilityai/stable-diffusion-3.5-large-controlnet-blur. Reproduce el flujo de fine-tuning de SD3.5 Large y, después, verifica que el script admita el modelo controlnet citado sin errores de embeddings posicionales.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
python, pytorch
Área
machine-learning
Tipo de issue
Error
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Estancado
Claridad
Bastante claro
Aptitud para principiantes
35/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.