aboutcode-org / aboutcode-org/scancode-analyzer
Scale up to Large Datasets
Ouverte
- Langage dominant
- Python
- Étoiles
- 4
- Forks
- 4
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Description
Research in the Pipeline
1. IO speed Analysis
2. Multi-Threading Functionality
3. Computation Bottlenecks
4. Memory/Processing Profiling
5. System Specific Changes in parameters
6. Chunking data and Batching Tasks
So that the pipeline can be effectively and efficiently scaled to very large datasets, to perform the analysis on the whole Clearly Defined Dataset.
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Évaluation
Cette issue n'a pas encore été évaluée.