MagicStack / MagicStack/asyncpg

Regression in copy records performance between 0.30.0 and 0.31.0

Offen
#1,327 0 Kommentare 1 Reaktion 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Vorherrschende Sprache
Python
Sterne
8.1k
Forks
468
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

When run on different versions (0.30.0 vs 0.31.0), the following script reproduces the issue and consistently shows a performance regression of approximately 22%:

import asyncio
import asyncpg
import time

COUNT = 5_000

async def run():
    conn = await asyncpg.connect("postgresql://user:password@localhost/postgres")

    await conn.execute("CREATE TABLE IF NOT EXISTS users (id SERIAL PRIMARY KEY, username TEXT, email TEXT, age INT)")

    RECORDS = [("John Doe", "john.doe@example.com", 42)] * 10_000

    start = time.perf_counter()
    for _ in range(COUNT):
        await conn.copy_records_to_table("users",  records=RECORDS,  columns=["username", "email", "age"])
    end = time.perf_counter()

    await conn.close()

    return end - start


if __name__ == "__main__":
    total = asyncio.run(run())
    print(f"Total time: {total:.5f} seconds")
    print(f"Average time per loop: {total / COUNT:.8f} seconds")
(common) [e.lee@OC0000842]$ pip install asyncpg==0.30.0
(common) [e.lee@OC0000842]$ python -m example
Total time: 89.15468 seconds
Average time per loop: 0.01783094 seconds

(common) [e.lee@OC0000842]$ pip install asyncpg==0.31.0
(common) [e.lee@OC0000842]$ python -m example
Total time: 108.57080 seconds
Average time per loop: 0.02171416 seconds

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Erste Schritte

  1. Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
  3. Forke das Repository und arbeite in einem Branch.
  4. Öffne einen Pull Request, der die Issue-Nummer nennt.

Rechercherichtung

Führe zunächst das bereitgestellte asyncio-Skript mit asyncpg 0.30.0 und 0.31.0 gegen PostgreSQL aus und bestätige den gemeldeten Zeitunterschied bei copy_records_to_table. Verfolge den Pfad von copy_records_to_table, um festzustellen, was sich zwischen diesen Versionen geändert hat; abgeschlossen ist die Aufgabe, wenn die Regression erklärt ist und der Benchmark die gemeldete Verlangsamung nicht mehr zeigt.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
postgresql, python
Bereich
databases, performance
Issue-Typ
Bug
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Ruhig
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
48/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.