huggingface / huggingface/diffusers
WAN2.1 FLF2V: Incorrect MASK Creation????
- Vorherrschende Sprache
- Python
- Sterne
- 34.5k
- Forks
- 7.3k
- Ø Merge
- 3 T. 3 Std.
- Gemergte PRs (30 T.)
- 91
Beschreibung
Hello! I think that it is maybe error. (Or not, please explain it for me!!)
In **WanImageToVideoPipeline** class in `pipline_wan_i2v.py`,
(the code is the part of `prepare_latents` function)
**For I2V**, masking shape like as below:
```
[[1, 0, 0, ... , 0]
[1, 0, 0, ... , 0]
[1, 0, 0, ... , 0]
[1, 0, 0, ... , 0]]
```
I understood: when the mask is 1, input video frame does not change.
(*Mask shape: [1, 4, 21, 60, 104] = [B, C, F, H, W])
**But in the FLF2V case,** masking shape like as below:
```
[[1, 0, 0, ... , 0]
[1, 0, 0, ... , 0]
[1, 0, 0, ... , 0]
**[1, 0, 0, ... , 1]]**
```
Here, **why the last frame mask has 1 only in last channel??**
Is there anyone who can explain this part?
Beitragsleitfaden
Rechercherichtung
Beginne in pipline_wan_i2v.py bei der Funktion WanImageToVideoPipeline.prepare_latents und vergleiche die Maskenkonstruktion für I2V mit dem FLF2V-Fall. Verfolge, wie die Maske [B, C, F, H, W] gebildet wird, und stelle fest, ob der Wert des letzten Kanals beabsichtigt ist oder einen Fehler darstellt. Als erledigt gilt die Aufgabe, wenn der Grund dokumentiert oder das genaue Verhalten identifiziert ist, das korrigiert werden muss.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- machine-learning
- Issue-Typ
- Bug
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 35/100