huggingface / huggingface/diffusers
HunyuanVideoImageToVideoPipeline memory leak
- Vorherrschende Sprache
- Python
- Sterne
- 34.5k
- Forks
- 7.3k
- Ø Merge
- 3 T. 3 Std.
- Gemergte PRs (30 T.)
- 91
Beschreibung
### Describe the bug
`RuntimeError: Invalid buffer size: 635.13 GB` on Apple Silicon with mps, when the readme claims 60GB. Smaller res possible but still with 10x the memory claimed. What's going on here? Is it leaking memory?
Reproducible from boilerplate example code:
```import torch
from diffusers import HunyuanVideoImageToVideoPipeline, HunyuanVideoTransformer3DModel
from diffusers.utils import load_image, export_to_video
# Available checkpoints: "hunyuanvideo-community/HunyuanVideo-I2V" and "hunyuanvideo-community/HunyuanVideo-I2V-33ch"
model_id = "hunyuanvideo-community/HunyuanVideo-I2V"
transformer = HunyuanVideoTransformer3DModel.from_pretrained(
model_id, subfolder="transformer", torch_dtype=torch.bfloat16
)
pipe = HunyuanVideoImageToVideoPipeline.from_pretrained(
model_id, transformer=transformer, torch_dtype=torch.float16
)
pipe.vae.enable_tiling()
pipe.to("mps")
prompt = "A man with short gray hair plays a red electric guitar."
image = load_image(
"https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/guitar-man.png"
)
output = pipe(image=image, prompt=prompt).frames[0]
export_to_video(output, "output.mp4", fps=15)
```
Mac sequoia 15.5
### Reproduction
see above
### Logs
```shell
```
### System Info
0.34.0.dev0 py3.11 macos sequoia.15.5
### Who can help?
_No response_
Beitragsleitfaden
Rechercherichtung
Beginnen Sie damit, die bereitgestellte Reproduktion von HunyuanVideoImageToVideoPipeline mit HunyuanVideoTransformer3DModel auf Apple Silicon unter Verwendung des MPS-Geräts auszuführen, und vergleichen Sie deren Speicherzuweisung mit der Angabe von 60GB im README. Verfolgen Sie das Speicherverhalten der Pipeline, um festzustellen, ob der gemeldete 635.13GB-Puffer ein Leak oder eine fehlerhafte Speicherzuweisung ist; die Aufgabe ist abgeschlossen, wenn die Ursache identifiziert und die Speichernutzung mit der dokumentierten Erwartung in Einklang gebracht wurde.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python, pytorch
- Bereich
- machine-learning, performance
- Issue-Typ
- Bug
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 32/100