Dense counterpart and pretraining data for OLMo model
Aperta
- Lingua principale
- Jupyter Notebook
- Stelle
- 1.1k
- Fork
- 120
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
Is the Hugging Face checkpoint at https://huggingface.co/allenai/OLMo-1B-0724-954000steps-unsharded the dense version of the OLMoE-1B-7B-0924 model? Were these two models pretrained on the same dataset?
In case they are not the same, is it possible to get the dense counterpart of OLMoE-1B-7B-0924 in the standard OLMo format?
Thanks so much!
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Valutazione
Questa issue non è ancora stata valutata.