Project-MONAI / Project-MONAI/tutorials

MAISI missing labels for conditioning maisi-rflow with vista3D pseudo labels

Offen
#2,047 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Vorherrschende Sprache
Jupyter Notebook
Sterne
2.5k
Forks
803
Ø Merge
6 T. 22 Std.
Gemergte PRs (30 T.)
3

Beschreibung

I’m training a pre-trained maisi-rflow model to generate new images conditioned on segmentation masks generated with vista3D.

In MAISI-data is written that the pseudo-labels can be produced using VISTA3D. I’m using MONAI bundle. Both MAISI and VISTA3D have labels IDs from 1 to 132 as can be compared in this two links:
1.https://github.com/Project-MONAI/tutorials/blob/main/generation/maisi/configs/label_dict.json
2. https://github.com/Project-MONAI/VISTA/blob/main/vista3d/data/jsons/label_dict.json
However, when I follow the MAISI inference tutorial and download the provided pseudo-labels, I see the label 200=body which does not exist in VISTA3D. As a result, when I condition maisi-rflow on my masks that only include IDs up to 132, generation quality degrades due to the missing label.

Which model or pipeline should I use to produce complete pseudo-labels compatible with maisi-rflow conditioning? Below are examples of generated images.

Image

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

  1. Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
  3. Forke das Repository und arbeite in einem Branch.
  4. Öffne einen Pull Request, der die Issue-Nummer nennt.

Rechercherichtung

Vergleiche die verknüpften MAISI- und VISTA3D-Dateien label_dict.json und überprüfe das MAISI-Inference-Tutorial sowie die darin bereitgestellten Pseudo-Labels. Verfolge, woher das Label 200=body stammt, und ermittle, welches Modell oder welche Pipeline vollständige Labels erzeugt, die mit der maisi-rflow-Konditionierung kompatibel sind. Als erledigt gilt die Aufgabe, wenn das unterstützte Label-Mapping und der Generierungspfad dokumentiert oder korrigiert sind.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
jupyter-notebook, pytorch
Bereich
machine-learning
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.