bigscience-workshop / bigscience-workshop/bigscience

mC4 sampling & pre-processing

Abierto
#61 1 comentario 0 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
Shell
Estrellas
1k
Forks
102
Métricas de merge de PR
Sin PR fusionados en 30 d

Descripción

Hi @TevenLeScao,

I think there are some confusing and broken link in the [mC4 data preprocessing](https://github.com/bigscience-workshop/bigscience/tree/master/data/mc4) section. Can you take a look?

Both of the links are broken here,
1. [mc4_preprocessing](https://console.cloud.google.com/storage/browser/bigscience/mc4_preprocessing?pageState=(%22StorageObjectListTable%22:(%22f%22:%22%255B%255D%22)))
2. [mc4_sampled_raw](https://console.cloud.google.com/storage/browser/bigscience/mc4_sampled_raw?pageState=(%22StorageObjectListTable%22:(%22f%22:%22%255B%255D%22)))

The original link should be,

1. [mc4_preprocessing](https://console.cloud.google.com/storage/browser/bigscience/preprocessed_data/mc4_preprocessing;tab=objects?pageState=(%22StorageObjectListTable%22:(%22f%22:%22%255B%255D%22))&prefix=&forceOnObjectsSortingFiltering=false)
2. [mc4_sampled_raw](https://console.cloud.google.com/storage/browser/bigscience/preprocessed_data/mc4_sampled_raw?pageState=(%22StorageObjectListTable%22:(%22f%22:%22%255B%255D%22))&prefix=&forceOnObjectsSortingFiltering=false)

In addition to that, the multinomial data processing code to create the different language splits are in this pull request, https://github.com/bigscience-workshop/Megatron-DeepSpeed/pull/9

Here's few things,

1. Did you use this data for any one of your experiments?
2. If not then I think you can update the doc, https://github.com/bigscience-workshop/bigscience/tree/master/data/mc4

For reference purpose, if you want to keep the code, I'm happy to open a pull request here. If not I'll close the pull request from [bigscience/Megatron-Deepspeed](https://github.com/bigscience-workshop/Megatron-DeepSpeed/pull/9) repo.

Let me know what do you think.

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

Empieza por la documentación de data/mc4 enlazada en el issue y compara los dos enlaces de almacenamiento de mC4 con sus destinos previstos. Verifica que las ubicaciones corregidas sigan siendo válidas y aclara o actualiza las referencias al preprocesamiento; el trabajo estará terminado cuando los enlaces de la documentación funcionen y se haya decidido el alcance en torno al código de procesamiento relacionado.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Área
documentation
Tipo de issue
Documentación
Dificultad
2/5
Tiempo estimado
1-3 horas
Estado de actividad
Estancado
Claridad
Bastante claro
Aptitud para principiantes
35/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.