AI4OPT / AI4OPT/ML4OPF

Support reading sharded files

Offen
#43 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Python
Sterne
34
Forks
11
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

PGLearn is hosted on HF which has 50GB file limits. For the medium/large cases, some files exceed this limit, so splits are pushed instead, i.e. `SOCOPF/dual.h5` is replaced by a folder `SOCOPF/dual` containing files `xaa` `xab` which when `cat`'d together give the original `SOCOPF/dual.h5`. ML4OPF should merge these automatically upon first read (like how the HF dataset loading script does [here](https://huggingface.co/datasets/PGLearn/PGLearn-Large-9241_pegase/blob/script/PGLearn-Large-9241_pegase.py#L420-L426))

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.