huggingface / huggingface/diffusers

Support for hpcaitech OpenSora's STDiT for text2video and text2image generation

オープン
#7,370 コメント 8 件 リアクション 0 件 担当者 0 名 GitHub で見る
community-examples contributions-welcome Good second issue
主要言語
Python
スター
34.5k
フォーク
7.3k
平均マージ
3日 3時間
マージ済み PR(30日)
91

説明

### Model/Pipeline/Scheduler description

STDiT builds on Latte and DiT and yields a trade-off between generation quality and speed

https://github-production-user-asset-6210df.s3.amazonaws.com/99191637/313485495-983a1965-a374-41a7-a76b-c07941a6c1e9.mp4?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=AKIAVCODYLSA53PQK4ZA%2F20240318%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Date=20240318T093601Z&X-Amz-Expires=300&X-Amz-Signature=89fc6e69755160d4b0c00efc5a166a04405f29a99f464410dfa53b73e251a0fd&X-Amz-SignedHeaders=host&actor_id=14872007&key_id=0&repo_id=760231710

### Open source status

- [X] The model implementation is available.
- [X] The model weights are available (Only relevant if addition is not a scheduler).

### Provide useful links for the implementation

https://github.com/hpcaitech/Open-Sora

https://github.com/hpcaitech/Open-Sora#model-weights

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

No repository files or tests are named. Start by reading the linked hpcaitech/Open-Sora implementation and model-weights information, then compare the STDiT requirements with diffusers' existing text2video and text2image support. Done means STDiT support is available for both requested generation tasks.

索引モデルが issue の本文から書いたものです。

評価

技術スタック
python, pytorch
領域
ai, machine-learning
issue の種類
機能追加
難易度
5/5
見積もり時間
1週間以上
活発さ
停滞
明瞭さ
説明が足りない
初心者へのやさしさ
25/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。