MagicStack / MagicStack/asyncpg

Terminate function does not work when a stream is cancelled prematurely when in an anyio task group

Đang mở
#1,156 7 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Ngôn ngữ chính
Python
Star
8.1k
Fork
468
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Mô tả

* **asyncpg version**: 0.29.0
* **PostgreSQL version**: 14.10
* **Do you use a PostgreSQL SaaS? If so, which? Can you reproduce
the issue with a local PostgreSQL install?**: Yes, I can reproduce it locally
* **Python version**: 3.12
* **Platform**: linux and Mac OS
* **Do you use pgbouncer?**: No
* **Did you install asyncpg with pip?**: Yes
* **If you built asyncpg locally, which version of Cython did you use?**: n/a
* **Can the issue be reproduced under both asyncio and
[uvloop](https://github.com/magicstack/uvloop)?**: No, the issue is not producible with asyncio only with anyio

Hi, I have a Fast API application that uses `SQLAlchemy` and `asyncpg`. I opened up a discussion on the SQLAlchemy page [here (full discussion)](https://github.com/sqlalchemy/sqlalchemy/discussions/11128#discussion-6343846) reporting a major problem that affected my application after an update they released.

To summarize the problem and what we concluded in that discussion,

I asynchronously stream data from my API to a client using the `starlette` `StreamingResponse` class which takes advantage of`anyio` under the hood. For some reason when the `anyio` `task group` gets cancelled before the stream is finished the `asyncpg` `terminate` function does not terminate the connection when the `close` function is used first, leaving it stuck in an `idle in transaction` state. This causes connections to run up eventually stopping other applications from creating new connections.

With some help from the SQLAlchemy folks, after some time working through the problem we were able to reproduce a small example of my problem using only the `asyncpg` and `anyio` libraries [here (Example of problem)](https://github.com/sqlalchemy/sqlalchemy/discussions/11128#discussioncomment-9539469)

Any help resolving this issue would be greatly appreciated! If you need any more info from me please do not hesitate to message back

Thanks in advance!

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Hướng nghiên cứu

Bản tái hiện tối thiểu được liên kết trong phần thảo luận của SQLAlchemy; trước tiên hãy chạy nó với thiết lập asyncpg và anyio được báo cáo, rồi theo dõi đường dẫn close-then-terminate trong quá trình hủy nhóm tác vụ. Sử dụng các entry point terminate và close của asyncpg để xác định vị trí xử lý vòng đời kết nối. Hoàn tất khi một stream bị hủy không còn để kết nối ở trạng thái idle in transaction.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
fastapi, postgresql, python
Lĩnh vực
databases
Loại issue
Lỗi
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.