python / python/mypy

mypy daemon consumes an increasing amount of memory every time `run` or `recheck` is invoked

Offen
#19,644 2 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

bug topic-daemon
Vorherrschende Sprache
Python
Sterne
20.6k
Forks
3.3k
PR-Merge-Kennzahlen
PR-Kennzahlen ausstehend

Beschreibung

Bug Report

The amount of memory that the daemon process consumes doesn't drop when typing errors are fixed; the memory consumption appears to stay the same if there are no errors, and when more errors appear, the memory consumption just continues increasing.

This is problematic when running the daemon on initially untyped code bases with large amounts of typing errors (as usually done in code editors integrating with a type-checker), as dmypy becomes sluggish very quickly (because the same existing errors are repeatedly reported).

To Reproduce & Actual Behaviour

  1. Repeat this line 2000 times in a file project/test/__init__.py,

    aaaaaaaaaaaaaaaaaaaaaaaa
    

    and create the following mypy configuration file at project/mypy.ini

    [mypy]
    files = test/
    
  2. Navigate to project/, then run dmypy run > errors.txt multiple times without editing project/test/__init__.py; watch the memory consumption grow for the dmypy process.

  3. Delete all code in project/test/__init__.py, then run dmypy run again multiple times. The memory consumption does not decrease.

Expected Behavior

I expect the memory consumption to be proportional to the number of errors, AST nodes, and size of a cache diff since the last time the checked code files have changed. If there's no code changes, it's surprising to me that memory consumption would grow for just repeated reports of the same errors.

Your Environment

  • Mypy version used: 1.17.1
  • Mypy command-line flags: None
  • Mypy configuration options from mypy.ini (and other config files): See # project/mypy.ini
  • Operating system: Ubuntu (Pop!_OS) 22.04 LTS
  • Python version used: 3.11

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

  1. Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
  3. Forke das Repository und arbeite in einem Branch.
  4. Öffne einen Pull Request, der die Issue-Nummer nennt.

Rechercherichtung

Reproduziere das Problem aus project/test/init.py mit project/mypy.ini, führe dann dmypy run aus und wiederhole recheck, während du den Speicherverbrauch des Daemons beobachtest. Vergleiche das Verhalten, nachdem die wiederholten Fehler entfernt wurden; abgeschlossen ist die Aufgabe, wenn der Speicher durch wiederholte Meldungen nicht mehr wächst und abnimmt, wenn Fehler und AST-Knoten entfernt werden, mit Regressionstests für dieses Szenario.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python
Bereich
tooling
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.