aboutcode-org / aboutcode-org/vulnerablecode
Run importers in Parallel
Offen
- Vorherrschende Sprache
- Python
- Sterne
- 702
- Forks
- 328
- Ø Merge
- 3 T. 8 Std.
- Gemergte PRs (30 T.)
- 3
Beschreibung
Instead of running `./manage.py import --all` in sequence
We can use multiprocessing and try to use all CPU power.
suggestions:
- we can use Celery and schedule tasks and run easily importers in parallel
(another benefit: we can run periodic Tasks and make importers synchronize )
- we can make it simple and use some code from scancode.
this could be a solution for #833
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Bewertung
Dieses Issue wurde noch nicht bewertet.