huggingface / huggingface/diffusers
Can we pass output_attentions=True to DiT model such as pixart to get attention output?
オープン
stale
- 主要言語
- Python
- スター
- 34.5k
- フォーク
- 7.3k
- 平均マージ
- 3日 3時間
- マージ済み PR(30日)
- 91
説明
Can we pass output_attentions=True to DiT model such as pixart to get attention output? Like using output_attentions=True in transformer?
コントリビューションガイド
調査の方向性
まず DiT モデルと PixArt モデルのエントリポイントを特定し、transformer モデルが output_attentions をどのように処理しているかを比較します。これらのモデルで期待される attention 出力の形状と動作を確認し、その後、要求されたオプションのカバレッジを追加して、そのオプションを有効にするとデフォルトの動作を変更せずに attention 出力が返されることを検証します。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- python, pytorch
- 領域
- machine-learning
- issue の種類
- 機能追加
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 停滞
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 25/100