huggingface / huggingface/diffusers
Support MV-Adapter for multi-view generation
Nadie ha tomado este issue todavía.
- Lenguaje dominante
- Python
- Estrellas
- 34.5k
- Forks
- 7.3k
- Merge medio
- 3 d 3 h
- PR fusionados (30 d)
- 91
Descripción
Model/Pipeline/Scheduler description
MV-Adapter is a creative productivity tool that seamlessly transfer text-to-image models to multi-view generators.
Highlights:
- generate 768x768 multi-view images
- work well with personalized models, LCM, ControlNet
- support text or image to multi-view (reconstruct 3D thereafter), or with geometry guidance for 3D texture generation
- arbitrary view generation
Btw, I can help implement it in diffusers. But I am not sure whether it should be implemented in the diffusers kernel like t2i_adapter and ip_adapter, or in community pipelines.
Open source status
- The model implementation is available.
- The model weights are available (Only relevant if addition is not a scheduler).
Provide useful links for the implementation
Official implementation: https://github.com/huanngzh/MV-Adapter
Model weights: https://huggingface.co/huanngzh/mv-adapter
Guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Línea de trabajo
Comienza leyendo la implementación oficial de MV-Adapter y comparando las integraciones existentes de t2i_adapter e ip_adapter en diffusers. Determina si el modelo debe incluirse en el kernel de diffusers o en un pipeline de la comunidad y, a continuación, verifica la compatibilidad con los pesos del modelo enlazados y las capacidades de generación multi-view descritas en la issue.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- python, pytorch
- Área
- machine-learning
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Estado de actividad
- Estancado
- Claridad
- Bastante claro
- Aptitud para principiantes
- 25/100