MagicStack / MagicStack/asyncpg

TimeoutError on multiple requests

Ouverte
#1,076 10 commentaires 1 réaction 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Langage dominant
Python
Étoiles
8.1k
Forks
468
Métriques de merge des PR
Aucune PR mergée en 30 j

Description

* **asyncpg version**: 0.27.0
* **PostgreSQL version**: 14.7
* **Do you use a PostgreSQL SaaS? If so, which? Can you reproduce
the issue with a local PostgreSQL install?**: We can reproduce it, not locally
* **Python version**: 3.10.2
* **Platform**: Backend: Linux, t3large AWS instance, Database: AWS RDS
* **Do you use pgbouncer?**: No
* **Did you install asyncpg with pip?**: Yes

We're using FastAPI ,and our current code for setting up the db connection is:

```
connection_arguments: Dict[str, Any] = {"server_settings": {"jit": "off"}}

ENUM_TYPES = (
("public", "sometype"), ...
)

async def register_enum_types(conn) -> None:
for enum_class, typename in ENUM_TYPES:
await conn.set_builtin_type_codec(
typename, schema=enum_class, codec_name="text"
)

engine = create_async_engine(
settings.uri,
echo=False,
connect_args=connection_arguments,
pool_size=200,
max_overflow=10,
)

async_sessionmaker = sessionmaker(engine, class_=AsyncSession, expire_on_commit=False)

@event.listens_for(engine.sync_engine, "connect")
def on_connect(dbapi_connection, connection_record):
dbapi_connection.run_async(register_enum_types)
```

We added the `register_enum_types` as we were thinking that the query:
`SELECT t.oid, t.typelem AS elemtype, t.typtype AS kind FROM pg_catalog.pg_type AS t WHERE t.oid = $1`

which we saw a lot in AWS RDS monitoring is causing the issue, but now we're not sure what is it anymore.

In logs when it happens we see:

`File "/path/to/file/python3.10/site-packages/asyncpg/connect_utils.py", line 780, in _connect_addr
raise asyncio.TimeoutError
asyncio.exceptions.TimeoutError`

and after some time, it gets back to normal.

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Piste de recherche

Commencez à asyncpg/connect_utils.py:780, où le asyncio.TimeoutError signalé est déclenché, et examinez l’établissement de la connexion avec FastAPI, le pooling de SQLAlchemy et AWS RDS. Comparez les logs de timeout avec les paramètres du pool concurrent et la requête pg_catalog signalée. Le travail est considéré comme terminé lorsqu’une cause reproductible et un fix vérifié ou un diagnostic clair ont été établis.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
fastapi, postgresql, python
Domaine
backend, databases
Type d'issue
Bug
Difficulté
4/5
Temps estimé
3-5 jours
Activité
À l'abandon
Clarté
À clarifier
Accessibilité débutants
28/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.