huggingface / huggingface/diffusers

UNet3DConditionModel does not use class conditioning

オープン
#7,053 コメント 7 件 リアクション 0 件 担当者 0 名 GitHub で見る
bug stale
主要言語
Python
スター
34.5k
フォーク
7.3k
平均マージ
3日 3時間
マージ済み PR(30日)
91

説明

### Describe the bug

Hello guys,

I found a small inconsistency. In `UNet3DConditionModel` forward method, `class_labels` is [defined](https://github.com/huggingface/diffusers/blob/6fedbd850a282ef21009f99a394f619ed7420137/src/diffusers/models/unets/unet_3d_condition.py#L540C13-L540C25) but is never used after that.

This is different from its twin model `UNet2DConditionModel`, where it is [used](https://github.com/huggingface/diffusers/blob/6fedbd850a282ef21009f99a394f619ed7420137/src/diffusers/models/unets/unet_2d_condition.py#L992) to get an embedding which is later used by the model.

Cheers.

### Reproduction

Does not apply.

### Logs

_No response_

### System Info

Does not apply.

### Who can help?

_No response_

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

src/diffusers/models/unets/unet_3d_condition.py の UNet3DConditionModel の forward メソッドから始め、class_labels の処理をリンク先の UNet2DConditionModel の実装と比較します。2D モデルでクラス埋め込みがどのように取得され、使用されるかを追跡します。3D モデルでクラス条件付けが一貫して処理され、関連する動作がプロジェクト既存のモデルテストでカバーされれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
python, pytorch
領域
machine-learning
issue の種類
バグ
難易度
3/5
見積もり時間
1〜2日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
45/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。