huggingface / huggingface/diffusers

Integration of ImageBind and StableUnCLIPImg2ImgPipeline for audio2image generation

オープン
#3,444 コメント 4 件 リアクション 0 件 担当者 0 名 GitHub で見る
community-examples New pipeline/model
主要言語
Python
スター
34.5k
フォーク
7.3k
平均マージ
3日 3時間
マージ済み PR(30日)
91

説明

### Model/Pipeline/Scheduler description

For anyone who need, here is a simple demo to illustrate how to integrate ImageBind and StableUnCLIPImg2ImgPipeline for audio2image generation.

### Open source status

- [X] The model implementation is available
- [X] The model weights are available (Only relevant if addition is not a scheduler).

### Provide useful links for the implementation

See also, https://github.com/Zeqiang-Lai/Anything2Image

```python
import imagebind
import torch
from diffusers import StableUnCLIPImg2ImgPipeline

# construct models
device = "cuda:0" if torch.cuda.is_available() else "cpu"
pipe = StableUnCLIPImg2ImgPipeline.from_pretrained(
"stabilityai/stable-diffusion-2-1-unclip", torch_dtype=torch.float16, variation="fp16"
)
pipe = pipe.to(device)

model = imagebind.imagebind_huge(pretrained=True)
model.eval()
model.to(device)

# generate image
with torch.no_grad():
audio_paths=["assets/wav/bird_audio.wav"]
embeddings = model.forward({
imagebind.ModalityType.AUDIO: imagebind.load_and_transform_audio_data(audio_paths, device),
})
embeddings = embeddings[imagebind.ModalityType.AUDIO]
images = pipe(image_embeds=embeddings.half()).images
images[0].save("bird_audio.png")
```

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

まず、リンクされたAnything2Imageリポジトリと、提供されているImageBindおよびStableUnCLIPImg2ImgPipelineのデモを確認します。続行する前に、diffusersにおける適切な統合ポイントを特定し、想定されるモデル、重み、API、テスト、ドキュメントを確認してください。完了とは、サポート対象の音声から画像への統合が実装され、検証されていることを意味します。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
python, pytorch
領域
ai, machine-learning
issue の種類
機能追加
難易度
5/5
見積もり時間
1週間以上
活発さ
停滞
明瞭さ
説明が足りない
初心者へのやさしさ
25/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。