aboutcode-org / aboutcode-org/scancode-analyzer
Scale up to Large Datasets
Offen
#13
0 Kommentare
0 Reaktionen
1 zugewiesene Person
Beansprucht von @AyanSinhaMahapatra
Auf GitHub ansehen
- Vorherrschende Sprache
- Python
- Sterne
- 4
- Forks
- 4
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
Research in the Pipeline
1. IO speed Analysis
2. Multi-Threading Functionality
3. Computation Bottlenecks
4. Memory/Processing Profiling
5. System Specific Changes in parameters
6. Chunking data and Batching Tasks
So that the pipeline can be effectively and efficiently scaled to very large datasets, to perform the analysis on the whole Clearly Defined Dataset.
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Bewertung
Dieses Issue wurde noch nicht bewertet.