MagicStack / MagicStack/asyncpg
Connection.close(timeout=) waits forever on a pending cancel when the server never acknowledges it
Chưa có ai nhận issue này.
- Ngôn ngữ chính
- Python
- Star
- 8.1k
- Fork
- 468
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
Summary
When a statement times out (command_timeout) while the server, or a pooler in front of it, is frozen, asyncpg requests a cancel and then every later operation on that connection, including close(timeout=...), awaits the cancel acknowledgement with no bound. The timeout argument of close() does not cover that wait, and a subsequent transport loss does not resolve it either, so the connection can never be closed gracefully and any caller that awaits close() hangs indefinitely.
Versions
- asyncpg 0.30.0 and 0.31.0 (same code shape in both)
- Python 3.12.3, Linux
- Observed through SQLAlchemy 2.0.52's asyncpg dialect, which calls
Connection.close(timeout=2)when invalidating a connection after aTimeoutError, but the behaviour is asyncpg's.
Where in the source (0.31.0)
asyncpg/protocol/protocol.pyx,close(self, timeout): awaitsself.cancel_sent_waiterand thenif self.cancel_waiter is not None: await self.cancel_waiterbefore the part that is guarded bytimeout._request_cancel()(called from_on_timeout()) createscancel_waiter; it is resolved only by a ReadyForQuery arriving on the original socket._handle_waiter_on_connection_lost()and_on_connection_lost()resolveself.waiteronly;cancel_waiteris left pending when the transport is lost.abort()returns early whenself.closingis already set, so cancelling a stuckclose()from outside and then callingConnection._abort()does not close the transport.
Reproduction
- Run PostgreSQL behind pgbouncer (transaction pooling), or plain PostgreSQL.
- Open a connection with
command_timeout=5, runSELECT pg_sleep(40). - While it runs, freeze the server process (
podman pause/kill -STOPon postgres, or on pgbouncer). - The statement raises
asyncio.TimeoutErrorafter 5 s and asyncpg starts a cancel task. - Now
await conn.close(timeout=2): it never returns while the freeze lasts. If the frozen side is later closed by a pooler timeout (pgbouncerquery_timeoutcloses the client socket),close()still never returns because the transport loss resolves only the query waiter.
Observed with an asyncio task-stack watchdog: the caller sits in Connection.close → protocol.close → await self.cancel_waiter, and the _cancel task sits in connect_utils awaiting the cancel connection's on_disconnect, for as long as the server stays frozen (minutes; unbounded).
Expected
close(timeout=t)should bound the wait for the cancel acknowledgement byt(or by the connection'scommand_timeout) and fall back to aborting the transport._on_connection_lost()should resolvecancel_waiter(with the same connection-lost exception it uses forwaiter) so that a lost transport cannot leave a permanently pending cancel.
Workaround we use
An application-level guard that, on TimeoutError/CancelledError, runs asyncio.wait_for(conn.close(timeout=g), g) and on expiry calls conn.terminate() followed by an explicit conn._transport.abort(), because terminate() alone leaves the socket open once close() has marked the protocol as closing.
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Hướng nghiên cứu
Bắt đầu trong asyncpg/protocol/protocol.pyx, đọc close(self, timeout), _request_cancel(), _handle_waiter_on_connection_lost() và _on_connection_lost(). Tái hiện trường hợp máy chủ bị treo được mô tả trong issue, sau đó xác minh rằng close(timeout=2) trả về và việc mất transport không để cancel_waiter ở trạng thái pending, trong khi kết nối chuyển sang abort như mong đợi.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- postgresql, python
- Lĩnh vực
- databases
- Loại issue
- Lỗi
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Sôi nổi
- Độ rõ ràng
- Đặc tả rõ ràng
- Mức phù hợp với người mới
- 68/100