MagicStack / MagicStack/asyncpg
Terminate function does not work when a stream is cancelled prematurely when in an anyio task group
Nadie ha tomado este issue todavía.
- Lenguaje dominante
- Python
- Estrellas
- 8.1k
- Forks
- 468
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Descripción
* **asyncpg version**: 0.29.0
* **PostgreSQL version**: 14.10
* **Do you use a PostgreSQL SaaS? If so, which? Can you reproduce
the issue with a local PostgreSQL install?**: Yes, I can reproduce it locally
* **Python version**: 3.12
* **Platform**: linux and Mac OS
* **Do you use pgbouncer?**: No
* **Did you install asyncpg with pip?**: Yes
* **If you built asyncpg locally, which version of Cython did you use?**: n/a
* **Can the issue be reproduced under both asyncio and
[uvloop](https://github.com/magicstack/uvloop)?**: No, the issue is not producible with asyncio only with anyio
Hi, I have a Fast API application that uses `SQLAlchemy` and `asyncpg`. I opened up a discussion on the SQLAlchemy page [here (full discussion)](https://github.com/sqlalchemy/sqlalchemy/discussions/11128#discussion-6343846) reporting a major problem that affected my application after an update they released.
To summarize the problem and what we concluded in that discussion,
I asynchronously stream data from my API to a client using the `starlette` `StreamingResponse` class which takes advantage of`anyio` under the hood. For some reason when the `anyio` `task group` gets cancelled before the stream is finished the `asyncpg` `terminate` function does not terminate the connection when the `close` function is used first, leaving it stuck in an `idle in transaction` state. This causes connections to run up eventually stopping other applications from creating new connections.
With some help from the SQLAlchemy folks, after some time working through the problem we were able to reproduce a small example of my problem using only the `asyncpg` and `anyio` libraries [here (Example of problem)](https://github.com/sqlalchemy/sqlalchemy/discussions/11128#discussioncomment-9539469)
Any help resolving this issue would be greatly appreciated! If you need any more info from me please do not hesitate to message back
Thanks in advance!
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Línea de trabajo
La reproducción mínima está enlazada en la discusión de SQLAlchemy; empieza ejecutándola con la configuración de asyncpg y anyio indicada, y sigue el recorrido close-then-terminate durante la cancelación del grupo de tareas. Usa los puntos de entrada terminate y close de asyncpg para localizar el manejo del ciclo de vida de la conexión. Se considera terminado cuando un stream cancelado ya no deja la conexión en estado idle in transaction.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- fastapi, postgresql, python
- Área
- databases
- Tipo de issue
- Error
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Estancado
- Claridad
- Bastante claro
- Aptitud para principiantes
- 35/100