huggingface / huggingface/diffusers

[Community] Rectified-CFG++ pipelines for SD3/3.5, Flux, Lumina 2, Qwen-Image, and Wan

Ouverte
#14,744 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
feature-request pipelines
Langage dominant
Python
Étoiles
34.5k
Forks
7.3k
Merge moyen
3 j 3 h
PR mergées (30 j)
91

Description

### Feature request

Add community pipelines that sample rectified-flow models with Rectified-CFG++ (Saini, Gupta, Bovik; NeurIPS 2025): [paper](https://huggingface.co/papers/2510.07631), [reference implementation](https://github.com/shreshthsaini/Rectified-CFGpp).

Rectified-CFG++ is a training-free replacement for the classifier-free guidance extrapolation in flow samplers. Each ODE step becomes a predictor-corrector update: the predictor steps along the conditional velocity, the corrector evaluates the conditional and unconditional velocities at that predicted point, and the effective velocity is the conditional velocity at the current point plus the scaled corrector difference. High guidance scales keep prompt alignment without the over-saturation and structural artifacts of standard CFG. On SD3.5, Flux-dev, and Lumina-Image-2.0 the paper reports better FID, CLIP score, and ImageReward than CFG at the same number of steps.

### Why a community pipeline

The method needs a second model evaluation at the predicted point inside the step, so it does not fit the `guiders` API, which recombines predictions from a single evaluation. A community pipeline per backbone (generated from the upstream pipeline with only the denoising loop replaced) keeps everything else, LoRA, IP-Adapter, skip-layer guidance, callbacks, working unchanged. Happy to move to modular denoise blocks if maintainers prefer that route.

### Scope

Backbones from the paper: Stable Diffusion 3 / 3.5, Flux, Lumina-Image-2.0. Beyond the paper: Qwen-Image and Wan 2.1 / 2.2 (video), which use the same flow-matching sampling.

I am the first author of the paper. PR #14726 implements this; opening the issue for coordination as the contribution guide asks.

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

Commencez par examiner PR #14726 et les pipelines upstream qu’il modifie ; l’issue identifie la boucle de débruitage et la guiders API comme les points d’entrée pertinents. Comparez les pipelines communautaires proposées pour SD3/3.5, Flux, Lumina 2, Qwen-Image et Wan avec le périmètre indiqué ; la tâche est considérée comme terminée lorsque l’échantillonnage Rectified-CFG++ fonctionne sur tous les backbones listés, tandis que LoRA, IP-Adapter, skip-layer guidance et les callbacks existants restent inchangés.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
python, pytorch
Domaine
machine-learning
Type d'issue
Fonctionnalité
Difficulté
5/5
Temps estimé
Plus d'une semaine
Activité
À l'abandon
Clarté
Plutôt claire
Accessibilité débutants
20/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.