Project-MONAI / Project-MONAI/tutorials
Clarification on [1] in swinunetr_pretrained README and training pipeline of ssl_pretrained_weights.pth
Nessuno ha ancora preso questa issue.
- Lingua principale
- Jupyter Notebook
- Stelle
- 2.5k
- Fork
- 803
- Merge medio
- 6g 22h
- PR unite (30g)
- 3
Descrizione
Hi MONAI team,
I’m trying to understand the origin of the pretrained weight:
ssl_pretrained_weights.pth (from MONAI-extra-test-data, ~719MB).
From the checkpoint structure, it contains:
- encoder.*
- decoder*
- out.conv.*
- encoder.mask_token
which looks like a full encoder-decoder model.
I found the following description in the tutorial README:
https://github.com/Project-MONAI/tutorials/blob/main/self_supervised_pretraining/swinunetr_pretrained/README.md
"The entire SwinUNETR model including encoder and decoder was trained end-to-end using self-supervised learning techniques as outlined in [1]."
However, it is unclear what [1] refers to in terms of actual training code or pipeline.
Could you please help clarify:
-
What exactly does reference [1] correspond to?
(Is it a specific paper, or an internal training implementation?) -
Was
ssl_pretrained_weights.pthtrained using the
research-contributions/SwinUNETR/Pretrain(SSLHead: rotation + contrastive + reconstruction),
or a different encoder-decoder / autoencoder-style pretraining pipeline?
A short clarification would already help a lot.
Thanks!
Guida per i contributori
Apri la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Direzione di ricerca
Inizia da self_supervised_pretraining/swinunetr_pretrained/README.md e dal relativo riferimento [1], quindi confronta la pipeline documentata con research-contributions/SwinUNETR/Pretrain e il relativo SSLHead. Usa le chiavi elencate del checkpoint ssl_pretrained_weights.pth per tracciare quale pipeline lo ha prodotto. Il lavoro è completato quando il README identifica [1] e indica chiaramente la pipeline di addestramento del checkpoint.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- pytorch
- Ambito
- documentation, machine-learning
- Tipo di issue
- Documentazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Stato di attività
- Tranquilla
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 38/100