aboutcode-org / aboutcode-org/scancode-toolkit

MemoryError when scanning 100 MiB single-line JSON file

オープン
#958 コメント 14 件 リアクション 0 件 担当者 0 名 GitHub で見る
bug Priority: low
主要言語
Python
スター
2.6k
フォーク
791
平均マージ
1日 12時間
マージ済み PR(30日)
5

説明

Slightly related to #616 (which is about the json2csv tool), I also see an error when scanning a (close to) 100 MiB JSON file with ScanCode version 2.2.1.post277.4d68f9377, on both Linux and Windows. I'm wondering whether ScanCode is still trying to interpret the JSON instead of handling it as a BLOB despite my not specifying the `--package` option, and whether that's causing the huge memory usage.

My full command line is

scancode --copyright --license --license-text --info --only-findings --strip-root --timeout 300 --processes 15 /dir/to/scan --json-pp result.json

Answering @pombredanne's question from #616:

> JSON should not be treated as plain data when this is compact, single line.
> Is this file a single line, like a huge js.map map file?

Yes, it is.

コントリビューションガイド

コントリビューションガイドを開く

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。