maisi unconditioned inference return noise

Abierto
#2,017 3 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
25/100
Tipo de issue
Error
Claridad
Necesita aclaración
Estado de actividad
Estancado
Stack tecnológico
jupyter-notebook, python, pytorch
Área
machine-learning

Línea de trabajo

Comience con scripts/diff_model_infer.py y el MAISI inference tutorial notebook, reproduciendo la reconstrucción de un paso que produce ruido. Compare la arquitectura de inferencia y la configuración cargada con la implementación de entrenamiento, incluidas las diferencias analizadas en issue 7991. La tarea estará terminada cuando la inferencia o reconstrucción no condicionada ya no devuelva una salida ruidosa con la configuración proporcionada.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Hallo,

I tried longer to make the diffusion unet (rectified flow version) work but without success. the VAE performes correct and encoding and reconstruction look fine. I take all the configs from the repo so configuration as well as weights are equivalently loaded as in https://github.com/Project-MONAI/tutorials/blob/main/generation/maisi/maisi_inference_tutorial.ipynb.

Using the diffusion unet with the existing code of diffusion_model_infer.py with

from scripts.diff_model_infer import run_inference
data = run_inference(
  args,
  device,
  autoencoder,
  diffusion_unet,
  1.4,#scale_factor,
  None,#top_region_index_tensor,
  None, #bottom_region_index_tensor,
  torch.tensor([[1.5,1.5,4.0]]).to('cuda'),#spacing_tensor,
  torch.tensor([1]).to('cuda'),#modality_tensor,
  (96,96,96),#output_size,
  4,
  logger,
)

I saw that there was an issue with the architecture which was different during training and the implementation but I'm not sure if that is related.
https://github.com/Project-MONAI/MONAI/issues/7991.
Some observations I made is when I would like to just reconstruction an image and basically make one step, the recon get's extremly noise.

For any suggestion what could be the potential issue, I'm thankful.

Best,
Lukas

Lenguaje dominante
Jupyter Notebook
Estrellas
2.5k
Forks
803
Merge medio
6 d 22 h
PR fusionados (30 d)
3

Guía de contribución

Abrir la guía de contribución

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de Project-MONAI/tutorials

Todos los issues de Project-MONAI/tutorials

Issues similares

Más issues de Machine Learning

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.