Project-MONAI / Project-MONAI/tutorials
Clarification on [1] in swinunetr_pretrained README and training pipeline of ssl_pretrained_weights.pth
Dieses Issue hat noch niemand übernommen.
- Vorherrschende Sprache
- Jupyter Notebook
- Sterne
- 2.5k
- Forks
- 803
- Ø Merge
- 6 T. 22 Std.
- Gemergte PRs (30 T.)
- 3
Beschreibung
Hi MONAI team,
I’m trying to understand the origin of the pretrained weight:
ssl_pretrained_weights.pth (from MONAI-extra-test-data, ~719MB).
From the checkpoint structure, it contains:
- encoder.*
- decoder*
- out.conv.*
- encoder.mask_token
which looks like a full encoder-decoder model.
I found the following description in the tutorial README:
https://github.com/Project-MONAI/tutorials/blob/main/self_supervised_pretraining/swinunetr_pretrained/README.md
"The entire SwinUNETR model including encoder and decoder was trained end-to-end using self-supervised learning techniques as outlined in [1]."
However, it is unclear what [1] refers to in terms of actual training code or pipeline.
Could you please help clarify:
-
What exactly does reference [1] correspond to?
(Is it a specific paper, or an internal training implementation?) -
Was
ssl_pretrained_weights.pthtrained using the
research-contributions/SwinUNETR/Pretrain(SSLHead: rotation + contrastive + reconstruction),
or a different encoder-decoder / autoencoder-style pretraining pipeline?
A short clarification would already help a lot.
Thanks!
Beitragsleitfaden
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Beginne mit self_supervised_pretraining/swinunetr_pretrained/README.md und seiner Referenz [1], und vergleiche anschließend die dokumentierte Pipeline mit research-contributions/SwinUNETR/Pretrain und dessen SSLHead. Verwende die aufgelisteten Schlüssel des Checkpoints ssl_pretrained_weights.pth, um nachzuverfolgen, welche Pipeline ihn erzeugt hat. Fertig ist die Aufgabe, wenn das README [1] identifiziert und die Trainingspipeline des Checkpoints klar angibt.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- pytorch
- Bereich
- documentation, machine-learning
- Issue-Typ
- Dokumentation
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Aktivitätsstatus
- Ruhig
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 38/100