huggingface / huggingface/diffusers
Integrate LaVie (IJCV 2024) and Cinemo (CVPR 2025) to diffusers
- Langage dominant
- Python
- Étoiles
- 34.5k
- Forks
- 7.3k
- Merge moyen
- 3 j 3 h
- PR mergées (30 j)
- 91
Description
### Model/Pipeline/Scheduler description
I am one of the authors of LaVie (IJCV 2024) and Cinemo (CVPR 2025). We are considering submitting pull requests (PRs) to the diffusers repository for these two video models, both of which are based on U-Net architectures. We would like to know if `diffusers` is still open to supporting PRs for U-Net-based models. If so, we will proceed with the submissions.
### Open source status
- [x] The model implementation is available.
- [x] The model weights are available (Only relevant if addition is not a scheduler).
### Provide useful links for the implementation
LaVie: [Vchitect/LaVie: [IJCV 2024] LaVie: High-Quality Video Generation with Cascaded Latent Diffusion Models](https://github.com/Vchitect/LaVie)
Cinemo: [maxin-cn/Cinemo: [CVPR 2025] Cinemo: Consistent and Controllable Image Animation with Motion Diffusion Models](https://github.com/maxin-cn/Cinemo)
Guide de contribution
Ouvrir le guide de contribution
Piste de recherche
Commencez par lire les implémentations liées de LaVie et Cinemo et comparer la structure de leurs modèles aux attentes de contribution de diffusers. L’issue doit d’abord confirmer que les modèles basés sur U-Net sont pris en charge ; elle sera considérée comme terminée lorsqu’un plan d’intégration aura été convenu et que des pull requests auront ensuite été créées pour les deux modèles.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- python, pytorch
- Domaine
- computer-vision, machine-learning
- Type d'issue
- Fonctionnalité
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Activité
- À l'abandon
- Clarté
- À clarifier
- Accessibilité débutants
- 25/100