huggingface / huggingface/diffusers

Integrate LaVie (IJCV 2024) and Cinemo (CVPR 2025) to diffusers

Ouverte
#10,967 1 commentaire 0 réactions 0 personnes assignées Voir sur GitHub
stale
Langage dominant
Python
Étoiles
34.5k
Forks
7.3k
Merge moyen
3 j 3 h
PR mergées (30 j)
91

Description

### Model/Pipeline/Scheduler description

I am one of the authors of LaVie (IJCV 2024) and Cinemo (CVPR 2025). We are considering submitting pull requests (PRs) to the diffusers repository for these two video models, both of which are based on U-Net architectures. We would like to know if `diffusers` is still open to supporting PRs for U-Net-based models. If so, we will proceed with the submissions. 

### Open source status

- [x] The model implementation is available.
- [x] The model weights are available (Only relevant if addition is not a scheduler).

### Provide useful links for the implementation

LaVie:  [Vchitect/LaVie: [IJCV 2024] LaVie: High-Quality Video Generation with Cascaded Latent Diffusion Models](https://github.com/Vchitect/LaVie)
Cinemo: [maxin-cn/Cinemo: [CVPR 2025] Cinemo: Consistent and Controllable Image Animation with Motion Diffusion Models](https://github.com/maxin-cn/Cinemo)

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

Commencez par lire les implémentations liées de LaVie et Cinemo et comparer la structure de leurs modèles aux attentes de contribution de diffusers. L’issue doit d’abord confirmer que les modèles basés sur U-Net sont pris en charge ; elle sera considérée comme terminée lorsqu’un plan d’intégration aura été convenu et que des pull requests auront ensuite été créées pour les deux modèles.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
python, pytorch
Domaine
computer-vision, machine-learning
Type d'issue
Fonctionnalité
Difficulté
5/5
Temps estimé
Plus d'une semaine
Activité
À l'abandon
Clarté
À clarifier
Accessibilité débutants
25/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.