huggingface / huggingface/diffusers

HunyuanVideoImageToVideoPipeline memory leak

Offen
#11,676 9 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
bug stale
Vorherrschende Sprache
Python
Sterne
34.5k
Forks
7.3k
Ø Merge
3 T. 3 Std.
Gemergte PRs (30 T.)
91

Beschreibung

### Describe the bug

`RuntimeError: Invalid buffer size: 635.13 GB` on Apple Silicon with mps, when the readme claims 60GB. Smaller res possible but still with 10x the memory claimed. What's going on here? Is it leaking memory?

Reproducible from boilerplate example code:

```import torch
from diffusers import HunyuanVideoImageToVideoPipeline, HunyuanVideoTransformer3DModel
from diffusers.utils import load_image, export_to_video

# Available checkpoints: "hunyuanvideo-community/HunyuanVideo-I2V" and "hunyuanvideo-community/HunyuanVideo-I2V-33ch"
model_id = "hunyuanvideo-community/HunyuanVideo-I2V"
transformer = HunyuanVideoTransformer3DModel.from_pretrained(
model_id, subfolder="transformer", torch_dtype=torch.bfloat16
)
pipe = HunyuanVideoImageToVideoPipeline.from_pretrained(
model_id, transformer=transformer, torch_dtype=torch.float16
)
pipe.vae.enable_tiling()
pipe.to("mps")

prompt = "A man with short gray hair plays a red electric guitar."
image = load_image(
"https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/guitar-man.png"
)

output = pipe(image=image, prompt=prompt).frames[0]
export_to_video(output, "output.mp4", fps=15)
```

Mac sequoia 15.5

### Reproduction

see above

### Logs

```shell

```

### System Info

0.34.0.dev0 py3.11 macos sequoia.15.5

### Who can help?

_No response_

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginnen Sie damit, die bereitgestellte Reproduktion von HunyuanVideoImageToVideoPipeline mit HunyuanVideoTransformer3DModel auf Apple Silicon unter Verwendung des MPS-Geräts auszuführen, und vergleichen Sie deren Speicherzuweisung mit der Angabe von 60GB im README. Verfolgen Sie das Speicherverhalten der Pipeline, um festzustellen, ob der gemeldete 635.13GB-Puffer ein Leak oder eine fehlerhafte Speicherzuweisung ist; die Aufgabe ist abgeschlossen, wenn die Ursache identifiziert und die Speichernutzung mit der dokumentierten Erwartung in Einklang gebracht wurde.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python, pytorch
Bereich
machine-learning, performance
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
32/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.