Project-MONAI / Project-MONAI/tutorials

MAISI missing labels for conditioning maisi-rflow with vista3D pseudo labels

Ouverte
#2,047 1 commentaire 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Langage dominant
Jupyter Notebook
Étoiles
2.5k
Forks
803
Merge moyen
6 j 22 h
PR mergées (30 j)
3

Description

I’m training a pre-trained maisi-rflow model to generate new images conditioned on segmentation masks generated with vista3D.

In MAISI-data is written that the pseudo-labels can be produced using VISTA3D. I’m using MONAI bundle. Both MAISI and VISTA3D have labels IDs from 1 to 132 as can be compared in this two links:
1.https://github.com/Project-MONAI/tutorials/blob/main/generation/maisi/configs/label_dict.json
2. https://github.com/Project-MONAI/VISTA/blob/main/vista3d/data/jsons/label_dict.json
However, when I follow the MAISI inference tutorial and download the provided pseudo-labels, I see the label 200=body which does not exist in VISTA3D. As a result, when I condition maisi-rflow on my masks that only include IDs up to 132, generation quality degrades due to the missing label.

Which model or pipeline should I use to produce complete pseudo-labels compatible with maisi-rflow conditioning? Below are examples of generated images.

Image

Guide de contribution

Ouvrir le guide de contribution

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Piste de recherche

Comparez les fichiers label_dict.json liés de MAISI et VISTA3D et examinez le tutoriel d’inférence de MAISI ainsi que ses pseudo-labels fournis. Retracez l’origine du label 200=body et déterminez quel modèle ou pipeline produit des labels complets compatibles avec le conditionnement de maisi-rflow. La tâche est terminée lorsque le mapping des labels pris en charge et le chemin de génération sont documentés ou corrigés.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
jupyter-notebook, pytorch
Domaine
machine-learning
Type d'issue
Bug
Difficulté
4/5
Temps estimé
3-5 jours
Activité
À l'abandon
Clarté
À clarifier
Accessibilité débutants
25/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.