danielgtaylor / danielgtaylor/python-betterproto

AsyncChannel produces unexpected exception on cancel

Đang mở
#233 1 bình luận 0 reaction 0 người được giao Xem trên GitHub
bug
Ngôn ngữ chính
Python
Star
1.8k
Fork
234
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Mô tả

Hey there,

I'm using the AsyncChannel to send messages to a GRPC server. When receiving a grpc error the client prints some non-catched errors of the sending task in the console (related to: https://github.com/danielgtaylor/python-betterproto/issues/188).

```
future: exception=ValueError('task_done() called too many times')>
Traceback (most recent call last):
File "/home/PycharmProjects/Worker/venv/lib/python3.8/site-packages/betterproto/grpc/util/async_channel.py", line 87, in __anext__
result = await self._queue.get()
File "/usr/lib/python3.8/asyncio/queues.py", line 163, in get
await getter
asyncio.exceptions.CancelledError

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
File "/home/PycharmProjects/Worker/venv/lib/python3.8/site-packages/betterproto/grpc/grpclib_client.py", line 166, in _send_messages
async for message in messages:
File "/home/PycharmProjects/Worker/venv/lib/python3.8/site-packages/betterproto/grpc/util/async_channel.py", line 93, in __anext__
self._queue.task_done()
File "/usr/lib/python3.8/asyncio/queues.py", line 206, in task_done
raise ValueError('task_done() called too many times')
ValueError: task_done() called too many times

```

When the server sends a grpc-error the error is handled in this except-block, which cancels the sending task:
https://github.com/danielgtaylor/python-betterproto/blob/master/src/betterproto/grpc/grpclib_client.py#L159-L161

This cancel-method results in throwing a CancelledError inside the current await of the sending task, which is the `get`-method on the queue of the AsyncChannel:
https://github.com/danielgtaylor/python-betterproto/blob/master/src/betterproto/grpc/util/async_channel.py#L87

In this case the `get`-method is raising a CancelledError even if the queue is empty. If this happens the `task_done`-method is called on an empty queue, and the above error message is shown.

A quick fix would be the following, however I haven't checked if this fix has any side effects:
```
try:
...
finally:
self._waiting_receivers -= 1
if not self._queue.empty():
self._queue.task_done()
```

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Bắt đầu với src/betterproto/grpc/util/async_channel.py, đặc biệt là __anext__ xung quanh các lệnh gọi queue get và task_done, sau đó đọc src/betterproto/grpc/grpclib_client.py xung quanh việc hủy _send_messages. Tái hiện việc hủy khi queue đang rỗng và xác minh rằng task gửi không còn báo cáo ngoại lệ do task_done() được gọi quá nhiều lần.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
python
Lĩnh vực
api, backend
Loại issue
Lỗi
Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.