huggingface / huggingface/diffusers

pipeline_stable_diffusion.py trys to encode the prompt when there is no prompt and `prompt_embeds` and `negative_prompt_embeds` are given

Đang mở
#6,201 9 bình luận 0 reaction 0 người được giao Xem trên GitHub
bug stale
Ngôn ngữ chính
Python
Star
34.5k
Fork
7.3k
Merge trung bình
3 ngày 3 giờ
Pull request đã merge (30 ngày)
91

Mô tả

### Describe the bug

`pipeline_stable_diffusion.py` trys to encode the prompt when there is no prompt and `prompt_embeds` and `negative_prompt_embeds` are given.

### Reproduction

Use `--pre_compute_text_embeddings` when train a dreambooth scripts. Use #6135 by @sayakpaul updating the `train_dreambooth_lora.py`. Even if `prompt_embeds` and `negative_prompt_embeds` are proven to pipeline, it still wants to find prompt to encode and return Nonetype. So `--pre_compute_text_embeddings` can be used only in IF.

### Logs

_No response_

### System Info

- `diffusers` version: 0.24.0
- Platform: Linux-5.15.0-56-generic-x86_64-with-glibc2.31
- Python version: 3.9.18
- PyTorch version (GPU?): 1.11.0+cu115 (True)
- Huggingface_hub version: 0.19.4
- Transformers version: 4.36.1
- Accelerate version: 0.25.0
- xFormers version: not installed
- Using GPU in script?: Yes
- Using distributed or parallel set-up in script?: No

### Who can help?

@yiyixuxu @DN6 @sayakpaul @patrickvonplaten

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Bắt đầu trong pipeline_stable_diffusion.py và truy vết việc xử lý prompt khi prompt_embeds và negative_prompt_embeds được cung cấp mà không có prompt. Tái hiện lỗi thông qua đường dẫn huấn luyện DreamBooth với --pre_compute_text_embeddings; hoàn tất khi pipeline chấp nhận các embedding được cung cấp mà không cố gắng mã hóa một prompt bị thiếu, đồng thời có kiểm thử hồi quy cho trường hợp này.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
python, pytorch
Lĩnh vực
machine-learning
Loại issue
Lỗi
Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.