modelscope / modelscope/DiffSynth-Studio
wan_1.3b_vace.py inference problem
Nessuno ha ancora preso questa issue.
- Lingua principale
- Python
- Stelle
- 13.1k
- Fork
- 1.3k
- Merge medio
- 13h 12m
- PR unite (30g)
- 45
Descrizione
This is the error I encountered when running video+image in wan_1.3b_vace.py.
An error occurred when running torchrun --nproc_per_node=2 wan_1.3b_vace.py
The key error message is:
RuntimeError: The size of tensor a (12716) must match the size of tensor b (25432) at non-singleton dimension 1
This error occurs at line 580 in the diffsynth/pipelines/wan_video.py file:
x = x + vace_hints[vace.vace_layers_mapping[block_id]] * vace_scale
The other wan2.1 models can perform inference normally, only vace encounters errors. Changing the resolution still results in a fixed error, with the size of a always being half of b.
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Direzione di ricerca
Riproduci il fallimento con torchrun --nproc_per_node=2 wan_1.3b_vace.py, quindi ispeziona la riga 580 in diffsynth/pipelines/wan_video.py, in particolare il mapping degli hint VACE utilizzato nell’addizione dei tensori. Confronta le dimensioni dei tensori per i percorsi di inferenza VACE e per gli altri percorsi di inferenza Wan 2.1; il lavoro è completato quando l’inferenza video+image termina senza errori di mismatch delle dimensioni.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python, pytorch
- Ambito
- machine-learning
- Tipo di issue
- Bug
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 48/100