Parallelize deepfreeze.py
Dieses Issue hat noch niemand übernommen.
- Vorherrschende Sprache
- Python
- Sterne
- 77.2k
- Forks
- 36k
- Ø Merge
- 1 T. 9 Std.
- Gemergte PRs (30 T.)
- 558
Beschreibung
Feature or enhancement
I propose to parallelize deepfreezing to speed up compile time for core devs.
Pitch
deepfreezing / deepfreeze.py is a choke point for building CPython. Deepfreezing happens very late in the build process and takes considerable amount of time, especially for pydebug builds. Deepfreezing is a single process and does not benefit from multiple cores. Every build that touches a core file will result in re-freezing. On my system and with ccache populates, make spends between 60 to 75% time just in deepfreeze.py for debug builds. For regular builds it's about 25-30% of total build time.
$ ./configure -C --with-pydebug
$ make clean
$ time make
real 0m9,339s
user 0m13,630s
sys 0m2,657s
$ rm Python/deepfreeze/deepfreeze.c
$ time make Python/deepfreeze/deepfreeze.c
real 0m7,267s
user 0m7,033s
sys 0m0,204s
The process can be parallelized. One possible solution is to split the work. For each input module create a make rule that outputs an inc file, e.g. Python/deepfreeze/"importlib._bootstrap.inc. An another rules creates deepfreeze.c with #include "importlib._bootstrap.inc, ... This keeps all code in one object file.
Beitragsleitfaden
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Beginne mit Python/deepfreeze/deepfreeze.py und den im Issue gezeigten Build-Befehlen und verfolge anschließend, wie Python/deepfreeze/deepfreeze.c generiert wird. Bewerte die vorgeschlagenen .inc-Ausgaben pro Eingabe und Build-Regeln. Als erledigt gilt die Aufgabe, wenn Deepfreezing mehrere Kerne nutzen kann, dabei die erforderliche deepfreeze.c-Ausgabe erzeugt und den aktuellen Build-Ablauf beibehält.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- build-system
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 25/100