huggingface / huggingface/diffusers
EDGE: Editable Dance Generation From Music
- Lenguaje dominante
- Python
- Estrellas
- 34.5k
- Forks
- 7.3k
- Merge medio
- 3 d 3 h
- PR fusionados (30 d)
- 91
Descripción
### Model/Pipeline/Scheduler description
The authors of this paper propose a diffusion-based method for generating human dance sequences (represented by joint angle trajectories) conditioned on music audio embeddings. The weights are stored in Google Docs and are open to the public, but translating the weights into a Diffusers-compatible format will require some surgery. Incorporating this model may also require implementing FiLM timestep conditioning and other possibly currently unavailable NN modules in Diffusers.
### Open source status
- [X] The model implementation is available
- [X] The model weights are available (Only relevant if addition is not a scheduler).
### Provide useful links for the implementation
Paper: https://arxiv.org/pdf/2211.10658.pdf
Website: https://edge-dance.github.io/
Github: https://github.com/Stanford-TML/EDGE
@jtseng20 @Stanford-TML
Guía de contribución
Línea de trabajo
Comienza con el repositorio de GitHub de EDGE enlazado y el artículo para comprender la implementación del modelo; después, inspecciona los pesos disponibles públicamente a los que se hace referencia en la issue. Determina el trabajo necesario para convertir los pesos a un formato compatible con Diffusers y si se requiere el condicionamiento temporal FiLM u otros módulos no disponibles. El trabajo se considera terminado cuando el modelo EDGE está incorporado con sus componentes necesarios y puede generar secuencias de baile condicionadas por música.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- python, pytorch
- Área
- machine-learning
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Estado de actividad
- Estancado
- Claridad
- Necesita aclaración
- Aptitud para principiantes
- 25/100