huggingface / huggingface/diffusers

EDGE: Editable Dance Generation From Music

Abierto
#3,817 0 comentarios 0 reacciones 0 asignados Ver en GitHub
New pipeline/model
Lenguaje dominante
Python
Estrellas
34.5k
Forks
7.3k
Merge medio
3 d 3 h
PR fusionados (30 d)
91

Descripción

### Model/Pipeline/Scheduler description

The authors of this paper propose a diffusion-based method for generating human dance sequences (represented by joint angle trajectories) conditioned on music audio embeddings. The weights are stored in Google Docs and are open to the public, but translating the weights into a Diffusers-compatible format will require some surgery. Incorporating this model may also require implementing FiLM timestep conditioning and other possibly currently unavailable NN modules in Diffusers.

### Open source status

- [X] The model implementation is available
- [X] The model weights are available (Only relevant if addition is not a scheduler).

### Provide useful links for the implementation

Paper: https://arxiv.org/pdf/2211.10658.pdf
Website: https://edge-dance.github.io/
Github: https://github.com/Stanford-TML/EDGE

@jtseng20 @Stanford-TML

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

Comienza con el repositorio de GitHub de EDGE enlazado y el artículo para comprender la implementación del modelo; después, inspecciona los pesos disponibles públicamente a los que se hace referencia en la issue. Determina el trabajo necesario para convertir los pesos a un formato compatible con Diffusers y si se requiere el condicionamiento temporal FiLM u otros módulos no disponibles. El trabajo se considera terminado cuando el modelo EDGE está incorporado con sus componentes necesarios y puede generar secuencias de baile condicionadas por música.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
python, pytorch
Área
machine-learning
Tipo de issue
Nueva funcionalidad
Dificultad
5/5
Tiempo estimado
Más de una semana
Estado de actividad
Estancado
Claridad
Necesita aclaración
Aptitud para principiantes
25/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.