allenai / allenai/OLMo-core

What is the difference between the two ingredients for mid train 100B datamix?

Abierto
#513 1 comentario 0 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
Python
Estrellas
1.5k
Forks
315
Merge medio
1 d 9 h
PR fusionados (30 d)
11

Descripción

Hello!

May I ask what is the difference between the two ingredients in the midtrain 100B datamix mentioned in the Huggingface link below? They are both 100B.

https://huggingface.co/datasets/allenai/dolma3_dolmino_mix-100B-1125

Thanks!

Guía de contribución

Abrir la guía de contribución

Evaluación

Este issue todavía no se ha evaluado.

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.