AI4OPT / AI4OPT/ML4OPF

Support reading sharded files

Aperta
#43 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
Python
Stelle
34
Fork
11
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

PGLearn is hosted on HF which has 50GB file limits. For the medium/large cases, some files exceed this limit, so splits are pushed instead, i.e. `SOCOPF/dual.h5` is replaced by a folder `SOCOPF/dual` containing files `xaa` `xab` which when `cat`'d together give the original `SOCOPF/dual.h5`. ML4OPF should merge these automatically upon first read (like how the HF dataset loading script does [here](https://huggingface.co/datasets/PGLearn/PGLearn-Large-9241_pegase/blob/script/PGLearn-Large-9241_pegase.py#L420-L426))

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Valutazione

Questa issue non è ancora stata valutata.

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.