python / python/typeshed

Type annotation for itertools.zip_longest() lacks constraint on how many values in each tuple may match the fillvalue.

Đang mở
#12,733 2 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Ngôn ngữ chính
Python
Star
5.1k
Fork
2.1k
Merge trung bình
1 ngày 19 giờ
Pull request đã merge (30 ngày)
82

Mô tả

I stumbled across this issue when working on some code structured like this:

# seq1 has a type of list[int]
# seq2 has a type of list[str]
# Neither has None anywhere in their values

for item in itertools.zip_longest(seq1, seq2, fillvalue=None):
    assert item[0] is not None or item[1] is not None

    match item:
        case (None, v2):
            ...
        case (v1, None) if v1 > some_value:
            ...
        case (v1, None):
            ...
        case (v1, v2):
            ...

The assert will never actually fire assuming typing constraints on the lists are met, because the typing of the two lists being passed to itertools.zip_longest() is such that item cannot be (None, None). However, the type hints of itertools.zip_longest() indicate in this case that the type of item in the above code sample is tuple[int | None, str | None]. This means that type checkers (and anybody looking only at the type information and not the semantics of itertools.zip_longest()) think that that assert could fail.

What’s worse is that this seems to have knock-on effects causing at least mypy to become sufficiently confused that it makes outlandish claims such as stating that the first case in the match statement is impossible because the first item in the tuple would have to have a type that is a subtype of str and None, that the type of v1 in the second case is int | None, and that the final case is completely unreachable. I have not tested with other type checkers, but my experience with other parts of the ecosystem as a whole suggest that they would also be confused by this code.

It’s technically possible update this code to get the type checker to actually understand that all of that is absolute hogwash, but it requires adding extra checks to each case statement to ensure that v1 and v2 are not None, resulting in code that is both significantly more verbose and has a longer runtime, all just to satisfy type checking.

In theory, it should be possible to fix this for the specific cases of defined numbers of iterables being passed to itertools.zip_longest() by changing the typing of the return values. For the example above, changing the return type of the overload case for two iterables and a specified fillvalue to the following should resolve the issue:

zip_longest[tuple[_T1 | _T2] | tuple[_T1, _T] | tuple[_T, _T2]]

I’d be happy to put together a PR to do this, but it’s a lot of typing that doesn’t seem like it can be easily done programmatically, and I wanted to confirm whether such a solution would even be considered acceptable before actually starting on it since it quickly gets very ugly for cases of more iterables (requiring 2ⁿ-1 total tuple types for n iterables).

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Hướng nghiên cứu

Bắt đầu bằng cách kiểm tra các overload của stub typeshed cho itertools.zip_longest() và kiểu trả về được đề xuất cho hai iterable với một fillvalue được chỉ định. So sánh hành vi với mypy trên ví dụ; công việc được xem là hoàn thành khi annotation giữ lại các dạng tuple có thể có mà không đánh dấu sai các trường hợp match là không thể đạt tới, đồng thời xác định liệu cách tiếp cận này có chấp nhận được đối với số lượng iterable lớn hơn hay không.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
python
Lĩnh vực
devtools
Loại issue
Lỗi
Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.