huggingface / huggingface/diffusers

Implementing training-free RB-Modulation pipeline for most used models

Ouverte
#9,283 4 commentaires 2 réactions 0 personnes assignées Voir sur GitHub
consider-for-modular-diffusers wip
Langage dominant
Python
Étoiles
34.5k
Forks
7.3k
Merge moyen
3 j 3 h
PR mergées (30 j)
91

Description

### Model/Pipeline/Scheduler description

The [RB-Modulation algorithm](https://rb-modulation.github.io/) is **training-free** technique to produce image 2 image style and content transfer in diffusion model. It has two components:
1. Stochastic Optimization Control (SOC): This component requires an [evaluator](https://github.com/learn2phoenix/CSD) for the style at each timestep. Therefore, an evaluator model and control function pipeline has to be built.
2. AttentionFeatureAggregation (AFA): This needs a clip image encoder to concat the K,V features of the image and caption. A slight tweak has to be done in the forward pass of the existing models.

This will be an interesting implementation for edits as the paper shows promising results.

### Open source status

- [X] The model implementation is available.
- [X] The model weights are available (Only relevant if addition is not a scheduler).

### Provide useful links for the implementation

### RB-Modulation:
Title: RB-Modulation: Training-Free Personalization of Diffusion Models using Stochastic Optimal Control
Code Link: https://github.com/google/RB-Modulation
Authors: Litu Rout and Yujia Chen and Nataniel Ruiz and Abhishek Kumar and Constantine Caramanis and Sanjay Shakkottai and Wen-Sheng Chu
Authors GH Username: @LituRout, @IssacCyj

### Style Evaluator:
Title: Measuring Style Similarity in Diffusion Models
Code Link: https://github.com/learn2phoenix/CSD
Authors: Somepalli, Gowthami and Gupta, Anubhav and Gupta, Kamal and Palta, Shramay and Goldblum, Micah and Geiping, Jonas and Shrivastava, Abhinav and Goldstein, Tom
Authors Username: @somepago, @learn2phoenix

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

Commencez par examiner l’implémentation et le paper de RB-Modulation, puis comparez les points d’entrée existants du modèle de diffusion et du scheduler dans le dépôt avec les composants SOC et AttentionFeatureAggregation décrits ici. Étudiez l’évaluateur CSD et le code Google/RB-Modulation lié avant de définir les modèles pris en charge et les limites d’intégration. Le travail est considéré comme terminé lorsqu’un pipeline fonctionnel et sans entraînement de transfert de style et de contenu image-à-image est disponible pour les modèles sélectionnés.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
python, pytorch
Domaine
machine-learning
Type d'issue
Fonctionnalité
Difficulté
5/5
Temps estimé
Plus d'une semaine
Activité
À l'abandon
Clarté
À clarifier
Accessibilité débutants
25/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.