aditeyabaral / aditeyabaral/calbert
Add MLM as an objective to `SiamesePreTrainer`
Ouverte
enhancement
help wanted
- Langage dominant
- Python
- Étoiles
- 12
- Forks
- 3
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Description
Add Masked Language Modelling as an objective to the `SiamesePreTrainer` class. This will require changes to `CalBERT` class as well to allow a Transformer model to be passed as input for `model_path`. The MLM head can be extracted from `AutoModel` classes present on HuggingFace
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Évaluation
Cette issue n'a pas encore été évaluée.