huggingface / huggingface/diffusers

Support for InfiniteTalk

Ouverte
#12,239 3 commentaires 2 réactions 0 personnes assignées Voir sur GitHub
contributions-welcome help wanted New pipeline/model
Langage dominant
Python
Étoiles
34.5k
Forks
7.3k
Merge moyen
3 j 3 h
PR mergées (30 j)
91

Description

### Model/Pipeline/Scheduler description

https://huggingface.co/MeiGen-AI/InfiniteTalk is a wonderful audio driven video generation model and can also support infinite frame , which is based on wan2.1. The demo and user's workflow is also awesome. some examples: https://www.runninghub.cn/ai-detail/1958438624956203010

### Open source status

- [x] The model implementation is available.
- [x] The model weights are available (Only relevant if addition is not a scheduler).

### Provide useful links for the implementation

https://huggingface.co/MeiGen-AI/InfiniteTalk
https://github.com/MeiGen-AI/InfiniteTalk

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

Lisez d’abord la fiche du modèle InfiniteTalk et l’implémentation liée, puis comparez leur architecture et leurs prérequis avec la prise en charge existante de Wan 2.1 dans diffusers. Le travail est considéré comme terminé lorsque le modèle est intégré avec une validation démontrant le workflow documenté de génération vidéo pilotée par l’audio.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
python, pytorch
Domaine
machine-learning
Type d'issue
Fonctionnalité
Difficulté
5/5
Temps estimé
Plus d'une semaine
Activité
Active
Clarté
À clarifier
Accessibilité débutants
35/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.