huggingface / huggingface/diffusers

SD3 dreambooth training - caching of embeddings and vae representations

オープン
#8,540 コメント 2 件 リアクション 0 件 担当者 0 名 GitHub で見る
stale
主要言語
Python
スター
34.5k
フォーク
7.3k
平均マージ
3日 3時間
マージ済み PR(30日)
91

説明

**Is your feature request related to a problem? Please describe.**
The current implementation of the dreambooth trainings for both loras and finetuning is very memory intensive.

**Describe the solution you'd like.**
I would like the option to pre-cache the VAE representations of the images and the text encoder representations so that training could be done without the text encoders being in VRAM.

**Describe alternatives you've considered.**
I don't believe there are alternatives to reducing the VRAM requirement for training.

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

Start by locating the SD3 DreamBooth training entry points and how they currently encode images and text during training. The requested result is optional pre-caching of VAE and text-encoder representations so training can run without the text encoders in VRAM; the issue names no specific files or tests.

索引モデルが issue の本文から書いたものです。

評価

技術スタック
python, pytorch
領域
machine-learning
issue の種類
機能追加
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
35/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。