huggingface / huggingface/diffusers
Implementing training-free RB-Modulation pipeline for most used models
- Langage dominant
- Python
- Étoiles
- 34.5k
- Forks
- 7.3k
- Merge moyen
- 3 j 3 h
- PR mergées (30 j)
- 91
Description
### Model/Pipeline/Scheduler description
The [RB-Modulation algorithm](https://rb-modulation.github.io/) is **training-free** technique to produce image 2 image style and content transfer in diffusion model. It has two components:
1. Stochastic Optimization Control (SOC): This component requires an [evaluator](https://github.com/learn2phoenix/CSD) for the style at each timestep. Therefore, an evaluator model and control function pipeline has to be built.
2. AttentionFeatureAggregation (AFA): This needs a clip image encoder to concat the K,V features of the image and caption. A slight tweak has to be done in the forward pass of the existing models.
This will be an interesting implementation for edits as the paper shows promising results.
### Open source status
- [X] The model implementation is available.
- [X] The model weights are available (Only relevant if addition is not a scheduler).
### Provide useful links for the implementation
### RB-Modulation:
Title: RB-Modulation: Training-Free Personalization of Diffusion Models using Stochastic Optimal Control
Code Link: https://github.com/google/RB-Modulation
Authors: Litu Rout and Yujia Chen and Nataniel Ruiz and Abhishek Kumar and Constantine Caramanis and Sanjay Shakkottai and Wen-Sheng Chu
Authors GH Username: @LituRout, @IssacCyj
### Style Evaluator:
Title: Measuring Style Similarity in Diffusion Models
Code Link: https://github.com/learn2phoenix/CSD
Authors: Somepalli, Gowthami and Gupta, Anubhav and Gupta, Kamal and Palta, Shramay and Goldblum, Micah and Geiping, Jonas and Shrivastava, Abhinav and Goldstein, Tom
Authors Username: @somepago, @learn2phoenix
Guide de contribution
Ouvrir le guide de contribution
Piste de recherche
Commencez par examiner l’implémentation et le paper de RB-Modulation, puis comparez les points d’entrée existants du modèle de diffusion et du scheduler dans le dépôt avec les composants SOC et AttentionFeatureAggregation décrits ici. Étudiez l’évaluateur CSD et le code Google/RB-Modulation lié avant de définir les modèles pris en charge et les limites d’intégration. Le travail est considéré comme terminé lorsqu’un pipeline fonctionnel et sans entraînement de transfert de style et de contenu image-à-image est disponible pour les modèles sélectionnés.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- python, pytorch
- Domaine
- machine-learning
- Type d'issue
- Fonctionnalité
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Activité
- À l'abandon
- Clarté
- À clarifier
- Accessibilité débutants
- 25/100