AllenNeuralDynamics / AllenNeuralDynamics/aind-behavior-video-transformation

Update video uploads to create one compression job per video

Offen
#39 0 Kommentare 1 Reaktion 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Python
Sterne
0
Forks
1
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

Request from Galen:

"The aind-behavior-video-transform (repo for video compression in HPC prior to upload to S3) works great but it takes a very long time to compress multiple videos. Worse, if an upload has more videos than usual or longer videos than usual the compression job will likely be killed due to wall time. A very easy tweak would be to hook into the airflow/slurm scheduling and create one compression job for each video, instead of one compression job for all videos."

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.