huggingface / huggingface/diffusers

SD3 dreambooth training - caching of embeddings and vae representations

Đang mở
#8,540 2 bình luận 0 reaction 0 người được giao Xem trên GitHub
stale
Ngôn ngữ chính
Python
Star
34.5k
Fork
7.3k
Merge trung bình
3 ngày 3 giờ
Pull request đã merge (30 ngày)
91

Mô tả

**Is your feature request related to a problem? Please describe.**
The current implementation of the dreambooth trainings for both loras and finetuning is very memory intensive.

**Describe the solution you'd like.**
I would like the option to pre-cache the VAE representations of the images and the text encoder representations so that training could be done without the text encoders being in VRAM.

**Describe alternatives you've considered.**
I don't believe there are alternatives to reducing the VRAM requirement for training.

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Bắt đầu bằng việc xác định các điểm vào của quá trình huấn luyện SD3 DreamBooth và cách chúng hiện mã hóa hình ảnh và văn bản trong quá trình huấn luyện. Kết quả được yêu cầu là tùy chọn tiền lưu vào bộ nhớ đệm các biểu diễn của VAE và bộ mã hóa văn bản để có thể chạy quá trình huấn luyện mà không cần các bộ mã hóa văn bản trong VRAM; issue không nêu tệp hoặc kiểm thử cụ thể nào.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
python, pytorch
Lĩnh vực
machine-learning
Loại issue
Tính năng
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.