huggingface / huggingface/diffusers
Add support for PPVCtrl
- Lingua principale
- Python
- Stelle
- 34.5k
- Fork
- 7.3k
- Merge medio
- 3g 3h
- PR unite (30g)
- 91
Descrizione
### Model/Pipeline/Scheduler description
I recently came across an impressive work called PPVCtrl, a controllable video generation model. It leverages an auxiliary condition encoder to transform a text-to-video generation model into a customizable video generator, all without retraining the original generator. It's akin to ControlNet, but for video generation.
Prompt
Reference Image
Control Videos
PP-VCtrl-5B-T2V
PP-VCtrl-5B-I2V
Group of fishes swimming in aquarium.
A boat with a flag on it is sailing on the sea.
Prompt
Reference Image
Control Videos
PP-VCtrl-5B-T2V
PP-VCtrl-5B-I2V
A rider in a dark helmet and white breeches is atop a chestnut horse...
A dark gray Mini Cooper is parked on a city street...
Prompt
Reference Image
Pose Videos
PP-VCtrl-5B-I2V
A young man with curly hair and a red t-shirt featuring a white logo is seen in various states of motion...
A woman models an Adrianna Papell women's gown, featuring a sleeveless...
### Open source status
- [x] The model implementation is available.
- [x] The model weights are available (Only relevant if addition is not a scheduler).
### Provide useful links for the implementation
https://github.com/PaddlePaddle/PaddleMIX/tree/develop/ppdiffusers/examples/ppvctrl
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Inizia esaminando l’implementazione di PPVCtrl e gli esempi in ppdiffusers/examples/ppvctrl, quindi confronta i suoi componenti con le integrazioni esistenti per la generazione video in diffusers. Conferma la pipeline richiesta, i pesi del modello e il comportamento degli esempi prima di definire i test; il lavoro è completato quando il supporto per PPVCtrl è integrato e gli esempi documentati vengono eseguiti.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python, pytorch
- Ambito
- machine-learning
- Tipo di issue
- Funzionalità
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 35/100