huggingface / huggingface/diffusers

Support MV-Adapter for multi-view generation

Abierto
#10,147 1 comentario 2 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

contributions-welcome New pipeline/model
Lenguaje dominante
Python
Estrellas
34.5k
Forks
7.3k
Merge medio
3 d 3 h
PR fusionados (30 d)
91

Descripción

Model/Pipeline/Scheduler description

MV-Adapter is a creative productivity tool that seamlessly transfer text-to-image models to multi-view generators.

Highlights:

  • generate 768x768 multi-view images
  • work well with personalized models, LCM, ControlNet
  • support text or image to multi-view (reconstruct 3D thereafter), or with geometry guidance for 3D texture generation
  • arbitrary view generation

Btw, I can help implement it in diffusers. But I am not sure whether it should be implemented in the diffusers kernel like t2i_adapter and ip_adapter, or in community pipelines.

Open source status
  • The model implementation is available.
  • The model weights are available (Only relevant if addition is not a scheduler).
Provide useful links for the implementation

Official implementation: https://github.com/huanngzh/MV-Adapter
Model weights: https://huggingface.co/huanngzh/mv-adapter

Guía de contribución

Abrir la guía de contribución

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Línea de trabajo

Comienza leyendo la implementación oficial de MV-Adapter y comparando las integraciones existentes de t2i_adapter e ip_adapter en diffusers. Determina si el modelo debe incluirse en el kernel de diffusers o en un pipeline de la comunidad y, a continuación, verifica la compatibilidad con los pesos del modelo enlazados y las capacidades de generación multi-view descritas en la issue.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
python, pytorch
Área
machine-learning
Tipo de issue
Nueva funcionalidad
Dificultad
5/5
Tiempo estimado
Más de una semana
Estado de actividad
Estancado
Claridad
Bastante claro
Aptitud para principiantes
25/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.