huggingface / huggingface/diffusers

Add ReNeg: An end-toend method designed to learn improved Negative embeddings (CVPR 2025 Highlight)

Offen
#11,256 2 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
stale
Vorherrschende Sprache
Python
Sterne
34.5k
Forks
7.3k
Ø Merge
3 T. 3 Std.
Gemergte PRs (30 T.)
91

Beschreibung

### **Model/Pipeline/Scheduler description**

[ReNeg] is a reward-guided approach that directly learns Negative embeddings through gradient descent. The negative embedding learned within the same text embedding space exhibits strong generalization capabilities.

For example, using the same CLIP text encoder, the negative embedding learned on SD1.5 can be seamlessly transferred to text-to-image or even text-to-video models such as ControlNet, ZeroScope, and VideoCrafter2, resulting in consistent performance improvements across the board.

![Image](https://github.com/user-attachments/assets/9c5e653e-989c-48bf-bc31-1547513a1362)

### **Open Source Status**

- [x] The model implementation is available.
- [x] The model weights are available (Only relevant if addition is not a scheduler).

### **Provide useful links for the implementation**

Official implementation: https://github.com/AMD-AIG-AIMA/ReNeg

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Die Nutzlast nennt keine Zieldateien oder Tests. Beginne damit, die offizielle ReNeg-Implementierung sowie deren Model-, Pipeline- und Scheduler-Einstiegspunkte zu lesen; abgeschlossen ist die Aufgabe, wenn die verfügbare ReNeg-Implementierung und die Gewichte in diffusers integriert sind und dabei die beschriebene Übertragung auf unterstützte Text-zu-Bild- und Text-zu-Video-Modelle erhalten bleibt.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python, pytorch
Bereich
machine-learning
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.