python / python/cpython

sqlite3 connections always create a reference cycle

Abierto
#144,345 10 comentarios 1 reacción 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

extension-modules topic-sqlite3 type-bug
Lenguaje dominante
Python
Estrellas
77.2k
Forks
35.9k
Métricas de merge de PR
Métricas de PR pendientes

Descripción

Bug report

Bug description:

This is perhaps an annoyance rather than a bug, but it's nice to avoid creating reference cycles if possible. Practically, this means that the ResourceWarning from an sqlite connection object going out of scope fires from a random irrelevant line - where the cyclic GC happens to run - rather than predictably where the object goes out of scope.

The cycle is between the connection object and a functools _lru_cache_wrapper object, as can be seen like this:

import gc
import sqlite3

conn = sqlite3.connect(":memory:")
referrers = gc.get_referrers(conn)
for obj1 in gc.get_referents(conn):
    for obj2 in referrers:
        if obj1 is obj2:
            print(obj1)

If I'm following the relevant C code correctly, it's similar to doing this in Python:

# In Connection.__init__
self.statement_cache = lru_cache(maxsize)(self)

# In Cursor get_statement_from_cache
self.connection.statement_cache(sql)

I believe the reference cycle could be avoided by doing something like this:

# A function (/staticmethod etc.) not bound to the Connection instance
def compile_stmt(wr_conn, sql):
    conn = wr_conn()
    assert conn is not None
    return conn(sql)

# In Connection.__init__
self.statement_cache = lru_cache(maxsize)(compile_stmt)

# In Cursor get_statement_from_cache
wr_conn = weakref.ref(self.connection)
self.connection.statement_cache(wr_conn, sql)

Or functools.partial could be used to wrap the function so that the weakref is only created once. The significant bit is the connection's cache having only weakrefs back to the connection object. I'm not great at writing C code, but I think I can see that everything required for this is available as C functions.

Thanks!

CPython versions tested on:

3.14

Operating systems tested on:

Linux

Linked PRs
  • gh-144383

Guía de contribución

Abrir la guía de contribución

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Línea de trabajo

Comienza con los puntos de entrada sqlite3 Connection.init y Cursor get_statement_from_cache descritos en el informe y, a continuación, revisa el PR enlazado gh-144383. Se considera terminado cuando la caché de conexiones ya no crea un ciclo de referencias y el comportamiento de ResourceWarning es predecible cuando la conexión queda fuera de alcance.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
python, sqlite
Área
databases
Tipo de issue
Error
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Estancado
Claridad
Bastante claro
Aptitud para principiantes
25/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.