huggingface / huggingface/diffusers
SD3 dreambooth training - caching of embeddings and vae representations
- Ngôn ngữ chính
- Python
- Star
- 34.5k
- Fork
- 7.3k
- Merge trung bình
- 3 ngày 3 giờ
- Pull request đã merge (30 ngày)
- 91
Mô tả
**Is your feature request related to a problem? Please describe.**
The current implementation of the dreambooth trainings for both loras and finetuning is very memory intensive.
**Describe the solution you'd like.**
I would like the option to pre-cache the VAE representations of the images and the text encoder representations so that training could be done without the text encoders being in VRAM.
**Describe alternatives you've considered.**
I don't believe there are alternatives to reducing the VRAM requirement for training.
Hướng dẫn đóng góp
Hướng nghiên cứu
Bắt đầu bằng việc xác định các điểm vào của quá trình huấn luyện SD3 DreamBooth và cách chúng hiện mã hóa hình ảnh và văn bản trong quá trình huấn luyện. Kết quả được yêu cầu là tùy chọn tiền lưu vào bộ nhớ đệm các biểu diễn của VAE và bộ mã hóa văn bản để có thể chạy quá trình huấn luyện mà không cần các bộ mã hóa văn bản trong VRAM; issue không nêu tệp hoặc kiểm thử cụ thể nào.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- python, pytorch
- Lĩnh vực
- machine-learning
- Loại issue
- Tính năng
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 35/100