aboutcode-org / aboutcode-org/scancode-toolkit

Feature Request: Parallalize all steps of scancode if possible

オープン
#2,725 コメント 3 件 リアクション 0 件 担当者 0 名 GitHub で見る
new feature
主要言語
Python
スター
2.6k
フォーク
791
平均マージ
1日 12時間
マージ済み PR(30日)
5

説明

## Short Description
In all but the file scanning step, scancode only uses one core, resulting in a low CPU load and a long runtime.

## Select Category
- [X] Enhancement

## **How This Feature will help you/your organization**
It should reduce the overall runtime substantially.

## **Possible Solution/Implementation Details**
I started scancode on a large codebase with parameter _-n 30_. After two hours (on a 32 core CPU), it was still in the state _Collect file inventory..._. The entire code base is on a M.2 SSD. The task manager shows little CPU, Memory, and IO activity.

Please parallelize all steps of scancode, including the file collection step.

## **Hardware / Software used**
AMD Ryzen 9 3950X (16 core, 32 thread), 32GB RAM, M.2 SSD 970 EVO Plus 1TB
Windows 10 Enterprise LTSC (1809), Python 3.9, Scancode 30.0.0

コントリビューションガイド

コントリビューションガイドを開く

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。