Incorrect SyntaxError attributes when raised by `compile`
Chưa có ai nhận issue này.
- Ngôn ngữ chính
- Python
- Star
- 77.2k
- Fork
- 36k
- Chỉ số merge pull request
- Chỉ số pull request đang chờ
Mô tả
Bug report
Bug description:
This is probably a problem with compile, and I will demonstrate it through ast.parse. Consider the following code in a file f.py.
import ast
code = "x y"
ast.parse(code, filename='f.py')
This correctly raises a SyntaxError with lineno = 1 and offset = 3 since the error is at the beginning of y in the code. However, the traceback points into the file f.py itself, instead of the string code. Notice that it points to the third column of the first line of f.py.
File "f.py", line 1
import ast
^
SyntaxError: invalid syntax
This does not happen for any other string given as filename to ast.parse. In general, the traceback seems to point with the "correct" lineno and offset to the code in the file itself instead of code given to ast.parse. However, the problem is slightly more nuanced. If the offset in the string given to ast.parse is more than the length of the corresponding line in f.py, the offset attribute of the SyntaxError raised is incorrectly set to the length of the corresponding line in f.py plus two. Consider the following code in f.py.
import ast
code = " x y"
ast.parse(code, filename='f.py')
This raises the following exception.
File "f.py", line 1
import ast
^
IndentationError: unexpected indent
On closer inspection, it turns out that the offset of the exception raised is 12 (note that the length of "import ast" is 10) instead of the correct 37 which is observed when filename is set to anything other than f.py. However, something more interesting happens when the number of lines in the code string is more than the number of lines in the file f.py.
import ast
code = "\n\n\n\nx y"
ast.parse(code, filename='f.py')
The problem goes away!
File "f.py", line 5
x y
^
SyntaxError: invalid syntax
We even see the correct offset.
CPython versions tested on:
3.11, 3.12, 3.13
Operating systems tested on:
Linux
(Edit) Incorrect text attribute
There is something more going on here. The following issue can be seen in 3.11 and 3.12 but not in 3.13. Consider the following f.py.
import ast
with open('temp.py') as f:
code = f.read()
ast.parse(code, filename='temp.py')
temp.py is as follows.
""" """; x """ """; foobar
This leads to the following traceback.
File "temp.py", line 1
foobar
^
SyntaxError: invalid syntax
Besides the fact that the offset is incorrectly set to 8 (instead of 840), the text is incorrectly set to foobar (on 3.13, the entire file contents of temp.py are present in text). This problem goes away if filename is set to anything else. The problem also goes away if the contents of temp.py are shorter!
Hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Hướng nghiên cứu
Bắt đầu bằng cách tái hiện các ví dụ sử dụng ast.parse và compile, so sánh các thuộc tính của SyntaxError khi filename khớp với tệp nguồn và khi không khớp. Theo dõi cách traceback, offset và text được điền cho các tên tệp khớp nhau. Được xem là hoàn tất khi lineno, offset, text và traceback nhất quán mô tả chuỗi đã được phân tích trong các trường hợp được minh họa, với phạm vi kiểm thử hồi quy cho các ví dụ.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- python
- Lĩnh vực
- compilers
- Loại issue
- Lỗi
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 38/100