huggingface / huggingface/diffusers

[New feature] A Noise Injection Method for Flux

Ouverte
#10,071 10 commentaires 1 réaction 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

consider-for-modular-diffusers wip
Langage dominant
Python
Étoiles
34.5k
Forks
7.3k
Merge moyen
3 j 3 h
PR mergées (30 j)
91

Description

### New Feature for FluxPipeline
Paper: [Link](https://openreview.net/pdf?id=KzokzKV4JK)
Code : [Link](https://anonymous.4open.science/r/SSNI-F746/README.md)
workflow : [Link](https://www.dropbox.com/scl/fi/hhitjx6lqpqpv8xjx9ikq/Flux-Noise-Injection.json?rlkey=45xnu45j1i5owiwhc7z1hppn1&e=1&dl=0)
This paper introduces Sample-specific Score-aware Noise Injection (SSNI) to improve diffusion-based purification (DBP) methods. Unlike existing approaches that use a fixed noise level (t*) for all samples, SSNI adapts t* based on how noisy or clean each sample is. Using a pre-trained score network, SSNI estimates a sample's deviation from the clean data and adjusts the noise level accordingly.

This have stunning Results with Flux

![spider_with_noise_injection](https://github.com/user-attachments/assets/e87d3da6-6ff5-46c1-b0ff-20c00ad4e541)
![spider_sh](https://github.com/user-attachments/assets/e0f7a469-ae99-4095-9c9d-8cc88ed4691d)

@sayakpaul @yiyixuxu

Guide de contribution

Ouvrir le guide de contribution

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Piste de recherche

Commencez par FluxPipeline et lisez l’article lié, l’implémentation de référence et le workflow afin de comprendre la méthode SSNI proposée. Le travail sera considéré comme terminé lorsqu’une fonctionnalité intégrée d’injection de bruit pour Flux aura été mise en place, avec une validation par rapport au comportement et aux résultats décrits dans l’issue.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
python, pytorch
Domaine
machine-learning
Type d'issue
Fonctionnalité
Difficulté
5/5
Temps estimé
Plus d'une semaine
Activité
À l'abandon
Clarté
À clarifier
Accessibilité débutants
25/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.