huggingface / huggingface/diffusers

lack of support of loading lora weights in PixArtAlphaPipeline

Offen
#9,887 8 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
contributions-welcome lora
Vorherrschende Sprache
Python
Sterne
34.5k
Forks
7.3k
Ø Merge
3 T. 3 Std.
Gemergte PRs (30 T.)
91

Beschreibung

pipe = PixArtAlphaPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe.load_lora_weights("xxx")
When I want to load lora in PixArtAlphaPipeline, it throws this error:
AttributeError: 'PixArtAlphaPipeline' object has no attribute 'load_lora_weights'

May be we can add the lora support in this pipeline?
Using the peft method like this is not convenient, and the effect is not good...
transformer = Transformer2DModel.from_pretrained("PixArt-alpha/PixArt-LCM-XL-2-1024-MS", subfolder="transformer", torch_dtype=torch.float16)
transformer = PeftModel.from_pretrained(transformer, "Your-LoRA-Model-Path")

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne am Einstiegspunkt von PixArtAlphaPipeline und vergleiche dessen Verhalten beim Laden von Gewichten mit Pipelines, die load_lora_weights unterstützen. Reproduziere das gezeigte Beispiel mit from_pretrained und load_lora_weights und überprüfe anschließend das Laden und die Generierung von PixArt LoRA; als erledigt gilt die Aufgabe, wenn der Aufruf keinen AttributeError mehr auslöst und die Pipeline das erwartete Ergebnis erzeugt.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python, pytorch
Bereich
machine-learning
Issue-Typ
Feature
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.