aboutcode-org / aboutcode-org/vulnerablecode

Run importers in Parallel

Ouverte
#837 1 commentaire 0 réactions 0 personnes assignées Voir sur GitHub
Langage dominant
Python
Étoiles
702
Forks
328
Merge moyen
3 j 8 h
PR mergées (30 j)
3

Description

Instead of running `./manage.py import --all` in sequence
We can use multiprocessing and try to use all CPU power.

suggestions:
- we can use Celery and schedule tasks and run easily importers in parallel
(another benefit: we can run periodic Tasks and make importers synchronize )

- we can make it simple and use some code from scancode.

this could be a solution for #833

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Évaluation

Cette issue n'a pas encore été évaluée.

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.