python / python/cpython

Quadratic time in `xml.etree.ElementTree` when parsing text with a large number of comments

Đang mở
#150,096 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

extension-modules topic-XML type-bug
Ngôn ngữ chính
Python
Star
77.2k
Fork
35.9k
Chỉ số merge pull request
Chỉ số pull request đang chờ

Mô tả

Bug report

Bug description:
import time
import xml.etree.ElementTree as ET

for N in (5000, 10000, 20000, 40000, 80000):
    data = b"<r>" + b"x<!---->" * N + b"</r>"
    s = time.perf_counter()
    ET.fromstring(data)
    dt = time.perf_counter() - s
    print(f"{N}  {dt}s")

I see:

$ python repro.py 
5000  0.025435873976675794s
10000  0.0888163199997507s
20000  0.3610062320076395s
40000  1.4099939750158228s
80000  5.41402202800964s

Found by OSS-Fuzz.

CPython versions tested on:

CPython main branch

Operating systems tested on:

No response

Linked PRs
  • gh-155407

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Hướng nghiên cứu

Bắt đầu với đoạn tái hiện ET.fromstring() trong issue và so sánh thời gian khi số lượng bình luận tăng lên. Xem lại PR được liên kết gh-155407 để hiểu công việc đang được thực hiện; được xem là hoàn tất khi việc phân tích cú pháp đầu vào này không còn cho thấy thời gian tăng theo bậc hai.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
python
Lĩnh vực
performance
Loại issue
Lỗi
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
25/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.