huggingface / huggingface/diffusers
Combined loss term for VQ-VAE (`diffusers.VQModel`)
- Ngôn ngữ chính
- Python
- Star
- 34.5k
- Fork
- 7.3k
- Merge trung bình
- 3 ngày 3 giờ
- Pull request đã merge (30 ngày)
- 91
Mô tả
For training the VQ-VAE component of a latent diffusion model a la `CompVis/ldm-celebahq-256` (which uses `diffusers.VQModel`), is there a combined loss term for each of the losses as described by the authors: reconstruction loss, vq loss, and commitment loss?
I see the vq loss term is collected in `VectorQuantizer`, but it does not seem to be used anywhere else.
https://github.com/huggingface/diffusers/blob/ebc99a77aad647c5d33eb36a33c23f7b3949cb40/src/diffusers/models/autoencoders/vae.py#L726-L730
I'm also open to alternatives to `VQModel` like `AutoEncoderKL`, if they can collect the loss terms more easily.
Thank you!
Hướng dẫn đóng góp
Hướng nghiên cứu
Bắt đầu với các dòng được liên kết trong src/diffusers/models/autoencoders/vae.py và theo dõi cách VQModel xử lý VQ loss của VectorQuantizer. Xác định xem reconstruction, VQ và commitment losses có thể được thu thập cùng nhau hay không, đồng thời xác minh rằng các loss term thu được có sẵn cho use case huấn luyện VQ-VAE đã nêu hay không.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- python, pytorch
- Lĩnh vực
- machine-learning
- Loại issue
- Tính năng
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 30/100