huggingface / huggingface/diffusers

Add support for PPVCtrl

Aperta
#10,625 2 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
Python
Stelle
34.5k
Fork
7.3k
Merge medio
3g 3h
PR unite (30g)
91

Descrizione

### Model/Pipeline/Scheduler description

I recently came across an impressive work called PPVCtrl, a controllable video generation model. It leverages an auxiliary condition encoder to transform a text-to-video generation model into a customizable video generator, all without retraining the original generator. It's akin to ControlNet, but for video generation.



Prompt
Reference Image
Control Videos
PP-VCtrl-5B-T2V
PP-VCtrl-5B-I2V




Group of fishes swimming in aquarium.
Reference
Conrotl Videos
PP-VCtrl T2V
PP-VCtrl I2V


A boat with a flag on it is sailing on the sea.
Reference
Control Videos
PP-VCtrl T2v
PP-VCtrl I2v




Prompt
Reference Image
Control Videos
PP-VCtrl-5B-T2V
PP-VCtrl-5B-I2V




A rider in a dark helmet and white breeches is atop a chestnut horse...
Reference
Conrotl Videos
PP-VCtrl T2V
PP-VCtrl I2V


A dark gray Mini Cooper is parked on a city street...
Reference
Control Videos
PP-VCtrl T2v
PP-VCtrl I2v




Prompt
Reference Image
Pose Videos
PP-VCtrl-5B-I2V




A young man with curly hair and a red t-shirt featuring a white logo is seen in various states of motion...

Reference 1


Pose Videos


PP-VCtrl 1



A woman models an Adrianna Papell women's gown, featuring a sleeveless...

Reference 2


Pose Videos


PP-VCtrl 2


### Open source status

- [x] The model implementation is available.
- [x] The model weights are available (Only relevant if addition is not a scheduler).

### Provide useful links for the implementation

https://github.com/PaddlePaddle/PaddleMIX/tree/develop/ppdiffusers/examples/ppvctrl

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia esaminando l’implementazione di PPVCtrl e gli esempi in ppdiffusers/examples/ppvctrl, quindi confronta i suoi componenti con le integrazioni esistenti per la generazione video in diffusers. Conferma la pipeline richiesta, i pesi del modello e il comportamento degli esempi prima di definire i test; il lavoro è completato quando il supporto per PPVCtrl è integrato e gli esempi documentati vengono eseguiti.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python, pytorch
Ambito
machine-learning
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.