huggingface / huggingface/diffusers

train_dreambooth_lora_flux.py distributed bugs

Ouverte
#9,161 7 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
bug stale
Langage dominant
Python
Étoiles
34.5k
Forks
7.3k
Merge moyen
3 j 3 h
PR mergées (30 j)
91

Description

### Describe the bug

AttributeError when running model parallel distributed training with accelerate

### Reproduction

```
accelerate launch --config_file train_dreambooth_lora_flux.py
--resolution=1024
--mixed_precision=bf16
--pretrained_model_name_or_path=black-forest-labels/FLUX.1-dev
--num_validation_images=8
--validation_epochs=100
--rank=16
--train_batch_size=1
--learning_rate=1e-4
--guidance_scale=3.5
--checkpointing_steps=200
--instance_prompt=xyz
--instance_data_dir=xyz
--output_dir=xyz
--logging_dir=xyz
--validation_prompt=xyz
```

accelerate config:
```
compute_environment: LOCAL_MACHINE
deepspeed_config: {}
distributed_type: MULTI_GPU
fsdp_config: {}
machine_rank: 0
main_process_ip: null
main_process_port: null
main_training_function: main
mixed_precision: bf16
num_machines: 1
num_processes: 2
use_cpu: false
gpu_ids: '0, 1'
rdzv_backend: static
same_network: true
tpu_env: []
tpu_use_cluster: false
tpu_use_sudo: false
```

### Logs

```shell
if transformer.config.guidance_embeds:

AttributeError: DistributedDataParallel object has no attribute config
```

### System Info

diffusers from source
accelerate==0.33.0
transformers==4.44.1

training on A100s

### Who can help?

_No response_

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

Commencez dans train_dreambooth_lora_flux.py, au niveau de la vérification de transformer.config.guidance_embeds, puis reproduisez la commande avec accelerate launch en utilisant la configuration fournie pour deux GPU. Suivez la façon dont le transformer est encapsulé pendant l’entraînement distribué et vérifiez que le script se termine sans le DistributedDataParallel config AttributeError.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
python, pytorch
Domaine
distributed-systems, machine-learning
Type d'issue
Bug
Difficulté
4/5
Temps estimé
3-5 jours
Activité
À l'abandon
Clarté
Plutôt claire
Accessibilité débutants
35/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.