Project-MONAI / Project-MONAI/tutorials
maisi unconditioned inference return noise
Chưa có ai nhận issue này.
- Ngôn ngữ chính
- Jupyter Notebook
- Star
- 2.5k
- Fork
- 803
- Merge trung bình
- 6 ngày 22 giờ
- Pull request đã merge (30 ngày)
- 3
Mô tả
Hallo,
I tried longer to make the diffusion unet (rectified flow version) work but without success. the VAE performes correct and encoding and reconstruction look fine. I take all the configs from the repo so configuration as well as weights are equivalently loaded as in https://github.com/Project-MONAI/tutorials/blob/main/generation/maisi/maisi_inference_tutorial.ipynb.
Using the diffusion unet with the existing code of diffusion_model_infer.py with
from scripts.diff_model_infer import run_inference
data = run_inference(
args,
device,
autoencoder,
diffusion_unet,
1.4,#scale_factor,
None,#top_region_index_tensor,
None, #bottom_region_index_tensor,
torch.tensor([[1.5,1.5,4.0]]).to('cuda'),#spacing_tensor,
torch.tensor([1]).to('cuda'),#modality_tensor,
(96,96,96),#output_size,
4,
logger,
)
I saw that there was an issue with the architecture which was different during training and the implementation but I'm not sure if that is related.
https://github.com/Project-MONAI/MONAI/issues/7991.
Some observations I made is when I would like to just reconstruction an image and basically make one step, the recon get's extremly noise.
For any suggestion what could be the potential issue, I'm thankful.
Best,
Lukas
Hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Hướng nghiên cứu
Bắt đầu với scripts/diff_model_infer.py và MAISI inference tutorial notebook, tái hiện quá trình tái dựng một bước tạo ra nhiễu. So sánh kiến trúc suy luận và cấu hình đã tải với phần triển khai huấn luyện, bao gồm những khác biệt được thảo luận trong issue 7991. Công việc được xem là hoàn tất khi quá trình suy luận hoặc tái dựng không điều kiện không còn trả về đầu ra nhiễu với các cài đặt được cung cấp.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- jupyter-notebook, python, pytorch
- Lĩnh vực
- machine-learning
- Loại issue
- Lỗi
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 25/100