Project-MONAI / Project-MONAI/tutorials
maisi unconditioned inference return noise
Nadie ha tomado este issue todavía.
- Lenguaje dominante
- Jupyter Notebook
- Estrellas
- 2.5k
- Forks
- 803
- Merge medio
- 6 d 22 h
- PR fusionados (30 d)
- 3
Descripción
Hallo,
I tried longer to make the diffusion unet (rectified flow version) work but without success. the VAE performes correct and encoding and reconstruction look fine. I take all the configs from the repo so configuration as well as weights are equivalently loaded as in https://github.com/Project-MONAI/tutorials/blob/main/generation/maisi/maisi_inference_tutorial.ipynb.
Using the diffusion unet with the existing code of diffusion_model_infer.py with
from scripts.diff_model_infer import run_inference
data = run_inference(
args,
device,
autoencoder,
diffusion_unet,
1.4,#scale_factor,
None,#top_region_index_tensor,
None, #bottom_region_index_tensor,
torch.tensor([[1.5,1.5,4.0]]).to('cuda'),#spacing_tensor,
torch.tensor([1]).to('cuda'),#modality_tensor,
(96,96,96),#output_size,
4,
logger,
)
I saw that there was an issue with the architecture which was different during training and the implementation but I'm not sure if that is related.
https://github.com/Project-MONAI/MONAI/issues/7991.
Some observations I made is when I would like to just reconstruction an image and basically make one step, the recon get's extremly noise.
For any suggestion what could be the potential issue, I'm thankful.
Best,
Lukas
Guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Línea de trabajo
Comience con scripts/diff_model_infer.py y el MAISI inference tutorial notebook, reproduciendo la reconstrucción de un paso que produce ruido. Compare la arquitectura de inferencia y la configuración cargada con la implementación de entrenamiento, incluidas las diferencias analizadas en issue 7991. La tarea estará terminada cuando la inferencia o reconstrucción no condicionada ya no devuelva una salida ruidosa con la configuración proporcionada.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- jupyter-notebook, python, pytorch
- Área
- machine-learning
- Tipo de issue
- Error
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Estancado
- Claridad
- Necesita aclaración
- Aptitud para principiantes
- 25/100