huggingface / huggingface/diffusers
loading Cosmos2 pipeline also disabled gradient tracking globally
- Lingua principale
- Python
- Stelle
- 34.5k
- Fork
- 7.3k
- Merge medio
- 3g 3h
- PR unite (30g)
- 91
Descrizione
### Describe the bug
I'm using Diffusers version 0.35.2
After loading Cosmos2VideoToWorldPipeline pipeline from "nvidia/Cosmos-Predict2-2B-Video2World", gradient tracking is disabled globally. Have to manually re-enable with torch.set_grad_enabled(True)
### Reproduction
* Bug reproduction
```
import torch
from torch import nn
from diffusers import Cosmos2VideoToWorldPipeline
model_id = "nvidia/Cosmos-Predict2-2B-Video2World"
pipe = Cosmos2VideoToWorldPipeline.from_pretrained(model_id, torch_dtype=torch.bfloat16)
print(torch.is_grad_enabled())
```
output:
```
False
```
* Note: loading each component (VAE, transformer) does not disable gradient tracking.
### Logs
```shell
```
### System Info
diffusers: 0.35.2
transformers: 5.3.0
### Who can help?
_No response_
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Inizia dal punto di ingresso Cosmos2VideoToWorldPipeline.from_pretrained ed esegui la riproduzione usando nvidia/Cosmos-Predict2-2B-Video2World. Confronta il caricamento della pipeline con il caricamento separato dei componenti VAE e transformer; il lavoro è completato quando torch.is_grad_enabled() rimane True dopo il caricamento della pipeline.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python, pytorch
- Ambito
- machine-learning
- Tipo di issue
- Bug
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Stato di attività
- Tranquilla
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 65/100