allenai / allenai/OLMo

Are raw Dolmino Mix 1124 compositions (50B, 100B and 300B) publicly available?

Aperta
#873 2 commenti 1 reazione 0 assegnatari Vedi su GitHub
type/question
Lingua principale
Python
Stelle
6.7k
Fork
797
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

### ❓ The question

Hi!

Is the raw data for the 50B, 100B and 300B compositions available for [Dolmino Mix 1124](https://huggingface.co/datasets/allenai/dolmino-mix-1124)?

I can see the tokenized `.npy` files are available to download [here](https://github.com/allenai/OLMo/blob/main/configs/official-0425/OLMo2-1B-stage2-seed42.yaml), but these have already been tokenized.

Thanks!

Guida per i contributori

Apri la guida per i contributori

Valutazione

Questa issue non è ancora stata valutata.

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.