huggingface / huggingface/diffusers
pipeline_stable_diffusion.py trys to encode the prompt when there is no prompt and `prompt_embeds` and `negative_prompt_embeds` are given
- Ngôn ngữ chính
- Python
- Star
- 34.5k
- Fork
- 7.3k
- Merge trung bình
- 3 ngày 3 giờ
- Pull request đã merge (30 ngày)
- 91
Mô tả
### Describe the bug
`pipeline_stable_diffusion.py` trys to encode the prompt when there is no prompt and `prompt_embeds` and `negative_prompt_embeds` are given.
### Reproduction
Use `--pre_compute_text_embeddings` when train a dreambooth scripts. Use #6135 by @sayakpaul updating the `train_dreambooth_lora.py`. Even if `prompt_embeds` and `negative_prompt_embeds` are proven to pipeline, it still wants to find prompt to encode and return Nonetype. So `--pre_compute_text_embeddings` can be used only in IF.
### Logs
_No response_
### System Info
- `diffusers` version: 0.24.0
- Platform: Linux-5.15.0-56-generic-x86_64-with-glibc2.31
- Python version: 3.9.18
- PyTorch version (GPU?): 1.11.0+cu115 (True)
- Huggingface_hub version: 0.19.4
- Transformers version: 4.36.1
- Accelerate version: 0.25.0
- xFormers version: not installed
- Using GPU in script?: Yes
- Using distributed or parallel set-up in script?: No
### Who can help?
@yiyixuxu @DN6 @sayakpaul @patrickvonplaten
Hướng dẫn đóng góp
Hướng nghiên cứu
Bắt đầu trong pipeline_stable_diffusion.py và truy vết việc xử lý prompt khi prompt_embeds và negative_prompt_embeds được cung cấp mà không có prompt. Tái hiện lỗi thông qua đường dẫn huấn luyện DreamBooth với --pre_compute_text_embeddings; hoàn tất khi pipeline chấp nhận các embedding được cung cấp mà không cố gắng mã hóa một prompt bị thiếu, đồng thời có kiểm thử hồi quy cho trường hợp này.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- python, pytorch
- Lĩnh vực
- machine-learning
- Loại issue
- Lỗi
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 35/100