huggingface / huggingface/diffusers

Can we pass output_attentions=True to DiT model such as pixart to get attention output?

オープン
#9,205 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る
stale
主要言語
Python
スター
34.5k
フォーク
7.3k
平均マージ
3日 3時間
マージ済み PR(30日)
91

説明

Can we pass output_attentions=True to DiT model such as pixart to get attention output? Like using output_attentions=True in transformer?

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

まず DiT モデルと PixArt モデルのエントリポイントを特定し、transformer モデルが output_attentions をどのように処理しているかを比較します。これらのモデルで期待される attention 出力の形状と動作を確認し、その後、要求されたオプションのカバレッジを追加して、そのオプションを有効にするとデフォルトの動作を変更せずに attention 出力が返されることを検証します。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
python, pytorch
領域
machine-learning
issue の種類
機能追加
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
25/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。