huggingface / huggingface/diffusers
GGUF + `torch.compile` is not compatible with Hub Kernels
オープン
gguf
torch-compile
- 主要言語
- Python
- スター
- 34.5k
- フォーク
- 7.3k
- 平均マージ
- 3日 3時間
- マージ済み PR（30日）
- 91
説明
The set checks when using hub kernels with GGUF are not traceable with torch.compile.
https://github.com/huggingface/diffusers/blob/b0dc51da31a112e5cd4e8a3ee9eafff08dab913d/src/diffusers/quantizers/gguf/utils.py#L74-L76
The GGUF Kernels also need to be updated to support the latest version of torch.
Initial Solution has been proposed: #12556
コントリビューションガイド
評価
この issue はまだ評価されていません。