Finding modules is a bottleneck for parallel checking on Windows

Đang mở
#21,336 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
35/100
Loại issue
Tái cấu trúc
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Ít trao đổi
Công nghệ
python
Lĩnh vực
devtools, performance

Hướng nghiên cứu

Tái hiện việc profiling self-check của Windows được mô tả trong issue, tập trung vào tiến trình điều phối trong quá trình tải đồ thị ban đầu. Theo dõi đường dẫn tìm mô-đun và so sánh thời gian của nó với Mac/Linux; công việc hoàn tất khi một tối ưu hóa đã được đo lường làm giảm nút thắt cổ chai trên Windows mà không thay đổi hành vi kiểm tra.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

parallel checking performance

While doing some basic profiling on Windows, it looks like finding modules is a major bottleneck, taking most of the initial graph loading (part that cannot be parallelized currently). Here are example build stats from coordinator process (unimportant things skipped) on self-check:

find_module_time:       0.591
graph_load_time:        0.877
scc_wait_time:          3.639  # this is actual processing time

For comparison, finding modules on self-check takes 50-100ms on Mac/Linux. Not sure what exactly is going on here, but this may be something we want to try optimizing.

cc @JukkaL @emmatyping

Ngôn ngữ chính
Python
Star
20.6k
Fork
3.3k
Merge trung bình
1 ngày 18 giờ
Pull request đã merge (30 ngày)
54

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của python/mypy

Tất cả issue của python/mypy

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.