MagicStack / MagicStack/asyncpg
Terminate function does not work when a stream is cancelled prematurely when in an anyio task group
Chưa có ai nhận issue này.
- Ngôn ngữ chính
- Python
- Star
- 8.1k
- Fork
- 468
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
* **asyncpg version**: 0.29.0
* **PostgreSQL version**: 14.10
* **Do you use a PostgreSQL SaaS? If so, which? Can you reproduce
the issue with a local PostgreSQL install?**: Yes, I can reproduce it locally
* **Python version**: 3.12
* **Platform**: linux and Mac OS
* **Do you use pgbouncer?**: No
* **Did you install asyncpg with pip?**: Yes
* **If you built asyncpg locally, which version of Cython did you use?**: n/a
* **Can the issue be reproduced under both asyncio and
[uvloop](https://github.com/magicstack/uvloop)?**: No, the issue is not producible with asyncio only with anyio
Hi, I have a Fast API application that uses `SQLAlchemy` and `asyncpg`. I opened up a discussion on the SQLAlchemy page [here (full discussion)](https://github.com/sqlalchemy/sqlalchemy/discussions/11128#discussion-6343846) reporting a major problem that affected my application after an update they released.
To summarize the problem and what we concluded in that discussion,
I asynchronously stream data from my API to a client using the `starlette` `StreamingResponse` class which takes advantage of`anyio` under the hood. For some reason when the `anyio` `task group` gets cancelled before the stream is finished the `asyncpg` `terminate` function does not terminate the connection when the `close` function is used first, leaving it stuck in an `idle in transaction` state. This causes connections to run up eventually stopping other applications from creating new connections.
With some help from the SQLAlchemy folks, after some time working through the problem we were able to reproduce a small example of my problem using only the `asyncpg` and `anyio` libraries [here (Example of problem)](https://github.com/sqlalchemy/sqlalchemy/discussions/11128#discussioncomment-9539469)
Any help resolving this issue would be greatly appreciated! If you need any more info from me please do not hesitate to message back
Thanks in advance!
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Hướng nghiên cứu
Bản tái hiện tối thiểu được liên kết trong phần thảo luận của SQLAlchemy; trước tiên hãy chạy nó với thiết lập asyncpg và anyio được báo cáo, rồi theo dõi đường dẫn close-then-terminate trong quá trình hủy nhóm tác vụ. Sử dụng các entry point terminate và close của asyncpg để xác định vị trí xử lý vòng đời kết nối. Hoàn tất khi một stream bị hủy không còn để kết nối ở trạng thái idle in transaction.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- fastapi, postgresql, python
- Lĩnh vực
- databases
- Loại issue
- Lỗi
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 35/100