huggingface / huggingface/diffusers

Consistency training fails to converge

Ouverte
#8,277 6 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
stale
Langage dominant
Python
Étoiles
34.5k
Forks
7.3k
Merge moyen
3 j 3 h
PR mergées (30 j)
91

Description

**Consistency training fails to converge**
When I use examples/research_projects/consistency_training/train_cm_ct_unconditional.py to train the consistency model, I try to follow the experimental parameters of the original paper, but I cannot obtain normal generation results.

**Script**
```bash
python -m accelerate.commands.launch examples/research_projects/consistency_training/train_cm_ct_unconditional.py
--dataset_name="cifar10"
--dataset_image_column_name="img"
--output_dir="examples/research_projects/consistency_training/outputs_cifar10"
--resolution=32
--max_train_steps=400000
--dataloader_num_workers=8
--noise_precond_type="cm"
--input_precond_type="cm"
--train_batch_size=512
--gradient_accumulation_steps=2
--learning_rate=1e-04
--lr_scheduler="constant"
--lr_warmup_steps=0
--use_ema
--validation_steps=5000
--eval_batch_size=32
--checkpointing_steps=5000
--checkpoints_total_limit=10
--use_8bit_adam
--mixed_precision=fp16
--resume_from_checkpoint="latest"
```

**Generated results(step 400000)**
![step400000](https://github.com/huggingface/diffusers/assets/58554991/7b261e5e-c873-4462-97b7-808b2e471c38)

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

Commencez par examples/research_projects/consistency_training/train_cm_ct_unconditional.py et reproduisez la commande et les paramètres indiqués, y compris la sortie de step-400000. Comparez les résultats générés au comportement attendu dans l’article original et examinez la configuration d’entraînement pour déterminer l’origine de la non-convergence. La tâche est terminée lorsque le problème est expliqué et que le script produit des résultats de génération normaux ou documente la correction requise.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
python, pytorch
Domaine
machine-learning
Type d'issue
Bug
Difficulté
4/5
Temps estimé
3-5 jours
Activité
À l'abandon
Clarté
À clarifier
Accessibilité débutants
35/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.