Project-MONAI / Project-MONAI/tutorials
maisi unconditioned inference return noise
Dieses Issue hat noch niemand übernommen.
- Vorherrschende Sprache
- Jupyter Notebook
- Sterne
- 2.5k
- Forks
- 803
- Ø Merge
- 6 T. 22 Std.
- Gemergte PRs (30 T.)
- 3
Beschreibung
Hallo,
I tried longer to make the diffusion unet (rectified flow version) work but without success. the VAE performes correct and encoding and reconstruction look fine. I take all the configs from the repo so configuration as well as weights are equivalently loaded as in https://github.com/Project-MONAI/tutorials/blob/main/generation/maisi/maisi_inference_tutorial.ipynb.
Using the diffusion unet with the existing code of diffusion_model_infer.py with
from scripts.diff_model_infer import run_inference
data = run_inference(
args,
device,
autoencoder,
diffusion_unet,
1.4,#scale_factor,
None,#top_region_index_tensor,
None, #bottom_region_index_tensor,
torch.tensor([[1.5,1.5,4.0]]).to('cuda'),#spacing_tensor,
torch.tensor([1]).to('cuda'),#modality_tensor,
(96,96,96),#output_size,
4,
logger,
)
I saw that there was an issue with the architecture which was different during training and the implementation but I'm not sure if that is related.
https://github.com/Project-MONAI/MONAI/issues/7991.
Some observations I made is when I would like to just reconstruction an image and basically make one step, the recon get's extremly noise.
For any suggestion what could be the potential issue, I'm thankful.
Best,
Lukas
Beitragsleitfaden
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Beginnen Sie mit scripts/diff_model_infer.py und dem MAISI inference tutorial notebook und reproduzieren Sie die einstufige Rekonstruktion, die Rauschen erzeugt. Vergleichen Sie die Inferenzarchitektur und die geladene Konfiguration mit der Trainingsimplementierung, einschließlich der in issue 7991 besprochenen Unterschiede. Erledigt ist die Aufgabe, wenn die unbedingte Inferenz oder Rekonstruktion unter den vorgegebenen Einstellungen keine verrauschte Ausgabe mehr zurückgibt.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- jupyter-notebook, python, pytorch
- Bereich
- machine-learning
- Issue-Typ
- Bug
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 25/100