huggingface / huggingface/diffusers

[Flux ControlNet] Add support for de-distilled models with CFG

Ouverte
#9,635 15 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

contributions-welcome good first issue
Langage dominant
Python
Étoiles
34.5k
Forks
7.3k
Merge moyen
3 j 3 h
PR mergées (30 j)
91

Description

Flux with Inpaiting and ControlNet currently yields bad result with the base model.

To echo [this comment](https://github.com/huggingface/diffusers/pull/9571#issuecomment-2404857656), using de-distilled models could potentially help getting better outputs.

Currently the Flux ControlNet pipelines do not support models like https://huggingface.co/nyanko7/flux-dev-de-distill

Guide de contribution

Ouvrir le guide de contribution

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Piste de recherche

Commencez par localiser les pipelines Flux ControlNet, en particulier les chemins inpainting et ControlNet, et comparez leur chargement des modèles et leur gestion de CFG avec la prise en charge du modèle de-distilled référencé. Exécutez le workflow Flux ControlNet existant avec le modèle nyanko7/flux-dev-de-distill ; le travail est terminé lorsque la pipeline l’accepte et produit des sorties améliorées valides sans altérer le comportement du modèle de base.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
python, pytorch
Domaine
machine-learning
Type d'issue
Fonctionnalité
Difficulté
4/5
Temps estimé
3-5 jours
Activité
Active
Clarté
Plutôt claire
Accessibilité débutants
48/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.