MagicStack / MagicStack/asyncpg

Asyncpg does not seem to clear memory allocated to Pool object after db.disconnect() (possible memory leak)

Ouverte
#929 1 commentaire 5 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Langage dominant
Python
Étoiles
8.1k
Forks
468
Métriques de merge des PR
Aucune PR mergée en 30 j

Description

  • asyncpg version: 0.25.0 (tried with 0.23.0 and 0.24.0)
  • PostgreSQL version: 11.16
  • Do you use a PostgreSQL SaaS? If so, which? Can you reproduce
    the issue with a local PostgreSQL install?
    : No, using the postgres:11.16 docker image directrly
  • Python version: 3.10.5 (+ latest 3.9 and 3.8)
  • Platform: Ubuntu 64 and docker
  • Do you use pgbouncer?: No
  • Did you install asyncpg with pip?: Yes
  • If you built asyncpg locally, which version of Cython did you use?: N/A
  • Can the issue be reproduced under both asyncio and
    uvloop?
    : I only tried asyncio

We observed PODs running out of memory.
They are reading from a queue constantly and calling this function

async def process_request(message, db : ):
    await db.connect()
    # do_something(message, db)
    await db.disconnect()

I am confident this is related to asyncpg as here are some of the objects that are created in memory with every iteration of connect/disconnect.

  asyncpg.pgproto.pgproto.ReadBuffer |        1000 |    132.81 KB
             collections.OrderedDict |        1000 |    125.00 KB
   asyncpg.pool.PoolConnectionHolder |        1000 |    117.19 KB
          asyncio.events.TimerHandle |        1001 |    109.48 KB

I have tried:

  • waiting for the TimerHandle to expire (60s)
  • calling engine.dispose() manually
  • calling the garbage collector manually

Sometime in the past we encountered a problem that made 10000s of connections in a few seconds (crashing the DB) that was fixed by abandoning this connect/disconnect pattern, so maybe these two are related.

The db is initialised as such

databases.Database(db_uri)

This problem does not exists in the sqlite driver.

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Piste de recherche

Commencez par reproduire le schéma répétitif db.connect() et db.disconnect() décrit avec asyncpg 0.25.0, PostgreSQL 11.16, Python 3.10.5 et l’image Docker postgres:11.16. Vérifiez si les objets asyncpg.pgproto.pgproto.ReadBuffer, OrderedDict, PoolConnectionHolder et asyncio.events.TimerHandle restent après la déconnexion et le garbage collection. Comparez le comportement avec le pilote sqlite et déterminez si les allocations conservées constituent une fuite.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
postgresql, python
Domaine
backend, databases
Type d'issue
Bug
Difficulté
4/5
Temps estimé
3-5 jours
Activité
À l'abandon
Clarté
À clarifier
Accessibilité débutants
25/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.