huggingface / huggingface/diffusers

Request to implement FreeScale, a new diffusion scheduler

Abierto
#10,281 1 comentario 0 reacciones 0 asignados Ver en GitHub
consider-for-modular-diffusers stale
Lenguaje dominante
Python
Estrellas
34.5k
Forks
7.3k
Merge medio
3 d 3 h
PR fusionados (30 d)
91

Descripción

### Model/Pipeline/Scheduler description

FreeScale is a tuning-free method for higher-resolution visual generation, unlocking the 8k image generation for pre-trained SDXL! Compared to direct inference by SDXL, FreeScale brings negligible additional memory and time costs.

![fig_teaser](https://github.com/user-attachments/assets/3eef38cc-3642-42a7-b5e7-8b32c32ecc77)

![fig_diff8k](https://github.com/user-attachments/assets/8cec7c55-011e-4434-81e3-1e80dd5dd003)

### Open source status

- [X] The model implementation is available.
- [X] The model weights are available (Only relevant if addition is not a scheduler).

### Provide useful links for the implementation

- Project: http://haonanqiu.com/projects/FreeScale.html
- Paper: https://arxiv.org/abs/2412.09626
- Code: https://github.com/ali-vilab/FreeScale
- Hugging Face Demo: https://huggingface.co/spaces/MoonQiu/FreeScale

The code changes of FreeScale are not complicated, but I do not know how to integrate them into diffusers smoothly. If you have questions about FreeScale, please ask me(@arthur-qiu).

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

Empieza leyendo el artículo de FreeScale y la implementación enlazada para entender los cambios del scheduler y cómo deberían integrarse en diffusers. Compara el comportamiento con la demo enlazada de Hugging Face; se considera terminado cuando FreeScale esté integrado correctamente en diffusers y su comportamiento de generación en alta resolución coincida con el método documentado.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
python, pytorch
Área
machine-learning
Tipo de issue
Nueva funcionalidad
Dificultad
5/5
Tiempo estimado
Más de una semana
Estado de actividad
Estancado
Claridad
Necesita aclaración
Aptitud para principiantes
25/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.