huggingface / huggingface/diffusers

Elastic-DiT support

オープン
#13,191 コメント 2 件 リアクション 2 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
34.5k
フォーク
7.3k
平均マージ
3日 3時間
マージ済み PR(30日)
91

説明

### Model/Pipeline/Scheduler description

Elastic-DiT was released a few hours ago: https://github.com/wangjiangshan0725/Elastic-DiT

It's supposed to greatly accelerate (~2x speed) the diffusion process of 2D image generators like qwen image and Flux with little impact to the quality of the output. This project was leaded by the creator of Hunyuan3D who used it also for the image->3d model (but this is likely out of scope for the diffusers project as it doesn't support 3D generation).

The code is available in the Github repo, the model checkpoint is hosted on HuggingFace and the paper is available on Arxiv.

### Open source status

- [x] The model implementation is available.
- [x] The model weights are available (Only relevant if addition is not a scheduler).

### Provide useful links for the implementation

https://github.com/wangjiangshan0725/Elastic-DiT
https://github.com/wangjiangshan0725/Elastic-DiT/blob/65535c3671199b0e26e96d7493cdeb71b2bcf3d8/diffsynth/pipelines/qwen_image_elastic_dit.py
https://huggingface.co/wjs0725/Elastic-DiT

@wangjiangshan0725
@Zeqiang-Lai

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

まず Elastic-DiT リポジトリと、そこで参照されている diffsynth/pipelines/qwen_image_elastic_dit.py の実装を読み、次に Hugging Face 上の Elastic-DiT checkpoint を調べます。Qwen Image と Flux をサポートするために適切な diffusers のエントリポイントと必要な検証を特定します。モデルが統合され、その出力を公開されている実装と照合して検証できれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
python, pytorch
領域
machine-learning
issue の種類
機能追加
難易度
5/5
見積もり時間
1週間以上
活発さ
停滞
明瞭さ
説明が足りない
初心者へのやさしさ
25/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。