Project-MONAI / Project-MONAI/tutorials
Training time of MAISI VAE
Chưa có ai nhận issue này.
- Ngôn ngữ chính
- Jupyter Notebook
- Star
- 2.5k
- Fork
- 803
- Merge trung bình
- 6 ngày 22 giờ
- Pull request đã merge (30 ngày)
- 3
Mô tả
Hi, I am trying to train the MAISI VAE from scratch using my dataset.
I wonder how long it takes to train on such a large dataset?
When I use 30k CT scans, it takes nearly 20 hours for 1 epoch on two A100. Is it correct? I use DDP, but I found it was even slower when I increased the GPU number.
If so, is there any method to accelerate the training process?
Hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Hướng nghiên cứu
Bắt đầu với entry point huấn luyện MAISI VAE và thiết lập DDP của nó, sau đó tái hiện epoch 20 giờ đã được báo cáo trên 30k ảnh chụp CT bằng hai GPU A100. Không có tệp hoặc bài kiểm thử nào được xác định; để hoàn thành cần xác định liệu thời gian và khả năng mở rộng có đúng như kỳ vọng hay không, đồng thời ghi lại một phương pháp tăng tốc được hỗ trợ.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- pytorch
- Lĩnh vực
- machine-learning
- Loại issue
- Lỗi
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 20/100