modelscope / modelscope/DiffSynth-Studio
T5 fp8 inference problem
Aperta
Nessuno ha ancora preso questa issue.
- Lingua principale
- Python
- Stelle
- 13.1k
- Fork
- 1.3k
- Merge medio
- 13h 12m
- PR unite (30g)
- 45
Descrizione
I set t5 for fp8 dtype, but got this error:
DiffSynth-Studio/diffsynth/models/wan_video_text_encoder.py", line 31, in forward
x = x * torch.rsqrt(x.float().pow(2).mean(dim=-1, keepdim=True) +
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
RuntimeError: Promotion for Float8 Types is not supported, attempted to promote Float8_e4m3fn and Float
Due to the .float(), which made dtype error, is that normal?
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Direzione di ricerca
Inizia in diffsynth/models/wan_video_text_encoder.py alla riga 31 e riproduci l'errore di inferenza T5 fp8 mostrato nel report. Determina se il fallimento della promozione del dtype sia previsto in quel punto; il lavoro è concluso quando il percorso di inferenza segnalato non produce più questo errore oppure il comportamento è documentato chiaramente.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python, pytorch
- Ambito
- machine-learning
- Tipo di issue
- Bug
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 35/100