aboutcode-org / aboutcode-org/scancode.io

D2D: Improve the "map_checksum" step

Offen
#907 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Python
Sterne
215
Forks
203
Ø Merge
4 T. 8 Std.
Gemergte PRs (30 T.)
6

Beschreibung

The "map_checksum" step first creates a query on the To/ and then match each To/ Resource to the whole From/ Resources. If there are 500,000 To/ Resources we would be doing 500K queries. This can takes several hours on large codebases and the 500K query is the obvious culprit.

This should be optimizable by only issuing a single query for matching that would join the To/ and From/ on checksum and return the results grouped by To/.
From there on, the creation of relations could be batched for further speed up.

Beitragsleitfaden

Beitragsleitfaden öffnen

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.