Project-MONAI / Project-MONAI/tutorials
MAISI missing labels for conditioning maisi-rflow with vista3D pseudo labels
Dieses Issue hat noch niemand übernommen.
- Vorherrschende Sprache
- Jupyter Notebook
- Sterne
- 2.5k
- Forks
- 803
- Ø Merge
- 6 T. 22 Std.
- Gemergte PRs (30 T.)
- 3
Beschreibung
I’m training a pre-trained maisi-rflow model to generate new images conditioned on segmentation masks generated with vista3D.
In MAISI-data is written that the pseudo-labels can be produced using VISTA3D. I’m using MONAI bundle. Both MAISI and VISTA3D have labels IDs from 1 to 132 as can be compared in this two links:
1.https://github.com/Project-MONAI/tutorials/blob/main/generation/maisi/configs/label_dict.json
2. https://github.com/Project-MONAI/VISTA/blob/main/vista3d/data/jsons/label_dict.json
However, when I follow the MAISI inference tutorial and download the provided pseudo-labels, I see the label 200=body which does not exist in VISTA3D. As a result, when I condition maisi-rflow on my masks that only include IDs up to 132, generation quality degrades due to the missing label.
Which model or pipeline should I use to produce complete pseudo-labels compatible with maisi-rflow conditioning? Below are examples of generated images.
Beitragsleitfaden
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Vergleiche die verknüpften MAISI- und VISTA3D-Dateien label_dict.json und überprüfe das MAISI-Inference-Tutorial sowie die darin bereitgestellten Pseudo-Labels. Verfolge, woher das Label 200=body stammt, und ermittle, welches Modell oder welche Pipeline vollständige Labels erzeugt, die mit der maisi-rflow-Konditionierung kompatibel sind. Als erledigt gilt die Aufgabe, wenn das unterstützte Label-Mapping und der Generierungspfad dokumentiert oder korrigiert sind.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- jupyter-notebook, pytorch
- Bereich
- machine-learning
- Issue-Typ
- Bug
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 25/100