Project-MONAI / Project-MONAI/tutorials

MAISI missing labels for conditioning maisi-rflow with vista3D pseudo labels

オープン
#2,047 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

主要言語
Jupyter Notebook
スター
2.5k
フォーク
803
平均マージ
6日 22時間
マージ済み PR(30日)
3

説明

I’m training a pre-trained maisi-rflow model to generate new images conditioned on segmentation masks generated with vista3D.

In MAISI-data is written that the pseudo-labels can be produced using VISTA3D. I’m using MONAI bundle. Both MAISI and VISTA3D have labels IDs from 1 to 132 as can be compared in this two links:
1.https://github.com/Project-MONAI/tutorials/blob/main/generation/maisi/configs/label_dict.json
2. https://github.com/Project-MONAI/VISTA/blob/main/vista3d/data/jsons/label_dict.json
However, when I follow the MAISI inference tutorial and download the provided pseudo-labels, I see the label 200=body which does not exist in VISTA3D. As a result, when I condition maisi-rflow on my masks that only include IDs up to 132, generation quality degrades due to the missing label.

Which model or pipeline should I use to produce complete pseudo-labels compatible with maisi-rflow conditioning? Below are examples of generated images.

Image

コントリビューションガイド

コントリビューションガイドを開く

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

調査の方向性

リンクされているMAISIとVISTA3Dのlabel_dict.jsonファイルを比較し、MAISIの推論チュートリアルと、そこで提供されている擬似ラベルを確認してください。200=bodyラベルの起源をたどり、maisi-rflowの条件付けと互換性のある完全なラベルを生成するモデルまたはパイプラインを特定してください。対応しているラベルマッピングと生成経路が文書化または修正されれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
jupyter-notebook, pytorch
領域
machine-learning
issue の種類
バグ
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
説明が足りない
初心者へのやさしさ
25/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。