Project-MONAI / Project-MONAI/tutorials
Clarification on [1] in swinunetr_pretrained README and training pipeline of ssl_pretrained_weights.pth
Nadie ha tomado este issue todavía.
- Lenguaje dominante
- Jupyter Notebook
- Estrellas
- 2.5k
- Forks
- 803
- Merge medio
- 6 d 22 h
- PR fusionados (30 d)
- 3
Descripción
Hi MONAI team,
I’m trying to understand the origin of the pretrained weight:
ssl_pretrained_weights.pth (from MONAI-extra-test-data, ~719MB).
From the checkpoint structure, it contains:
- encoder.*
- decoder*
- out.conv.*
- encoder.mask_token
which looks like a full encoder-decoder model.
I found the following description in the tutorial README:
https://github.com/Project-MONAI/tutorials/blob/main/self_supervised_pretraining/swinunetr_pretrained/README.md
"The entire SwinUNETR model including encoder and decoder was trained end-to-end using self-supervised learning techniques as outlined in [1]."
However, it is unclear what [1] refers to in terms of actual training code or pipeline.
Could you please help clarify:
-
What exactly does reference [1] correspond to?
(Is it a specific paper, or an internal training implementation?) -
Was
ssl_pretrained_weights.pthtrained using the
research-contributions/SwinUNETR/Pretrain(SSLHead: rotation + contrastive + reconstruction),
or a different encoder-decoder / autoencoder-style pretraining pipeline?
A short clarification would already help a lot.
Thanks!
Guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Línea de trabajo
Comienza con self_supervised_pretraining/swinunetr_pretrained/README.md y su referencia [1], y después compara el pipeline documentado con research-contributions/SwinUNETR/Pretrain y su SSLHead. Usa las claves del checkpoint ssl_pretrained_weights.pth indicadas para rastrear qué pipeline lo produjo. La tarea estará terminada cuando el README identifique [1] y describa claramente el pipeline de entrenamiento del checkpoint.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- pytorch
- Área
- documentation, machine-learning
- Tipo de issue
- Documentación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Estado de actividad
- Tranquilo
- Claridad
- Necesita aclaración
- Aptitud para principiantes
- 38/100