AI4OPT / AI4OPT/ML4OPF

Support reading sharded files

Abierto
#43 0 comentarios 0 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
Python
Estrellas
34
Forks
11
Métricas de merge de PR
Sin PR fusionados en 30 d

Descripción

PGLearn is hosted on HF which has 50GB file limits. For the medium/large cases, some files exceed this limit, so splits are pushed instead, i.e. `SOCOPF/dual.h5` is replaced by a folder `SOCOPF/dual` containing files `xaa` `xab` which when `cat`'d together give the original `SOCOPF/dual.h5`. ML4OPF should merge these automatically upon first read (like how the HF dataset loading script does [here](https://huggingface.co/datasets/PGLearn/PGLearn-Large-9241_pegase/blob/script/PGLearn-Large-9241_pegase.py#L420-L426))

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Evaluación

Este issue todavía no se ha evaluado.

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.