huggingface / huggingface/diffusers

lack of support of loading lora weights in PixArtAlphaPipeline

Aperta
#9,887 8 commenti 0 reazioni 0 assegnatari Vedi su GitHub
contributions-welcome lora
Lingua principale
Python
Stelle
34.5k
Fork
7.3k
Merge medio
3g 3h
PR unite (30g)
91

Descrizione

pipe = PixArtAlphaPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe.load_lora_weights("xxx")
When I want to load lora in PixArtAlphaPipeline, it throws this error:
AttributeError: 'PixArtAlphaPipeline' object has no attribute 'load_lora_weights'

May be we can add the lora support in this pipeline?
Using the peft method like this is not convenient, and the effect is not good...
transformer = Transformer2DModel.from_pretrained("PixArt-alpha/PixArt-LCM-XL-2-1024-MS", subfolder="transformer", torch_dtype=torch.float16)
transformer = PeftModel.from_pretrained(transformer, "Your-LoRA-Model-Path")

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Start at the PixArtAlphaPipeline entry point and compare its weight-loading behavior with pipelines that support load_lora_weights. Reproduce the shown from_pretrained and load_lora_weights example, then verify PixArt LoRA loading and generation; done means the call no longer raises AttributeError and the pipeline produces the expected result.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python, pytorch
Ambito
machine-learning
Tipo di issue
Funzionalità
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.