allenai / allenai/ir_datasets

Lock for writing to the cache files

Offen
#228 2 Kommentare 3 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
enhancement
Vorherrschende Sprache
Python
Sterne
391
Forks
58
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

I sometimes have multiple processes or multiple machines accessing the same storage cluster that hosts the cache directory of `ir_datasets`. If multiple processes decide to download the same dataset at the same time, they start writing to the same file and eventually crash.
It would be nice if there is a locking mechanism that prevents more than one process from writing to the same file and asking other processes to wait.

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.