Running mypy on script with pd.pivot_table gets exponentially slower with more columns
Dieses Issue hat noch niemand übernommen.
- Vorherrschende Sprache
- Python
- Sterne
- 20.6k
- Forks
- 3.3k
- PR-Merge-Kennzahlen
- PR-Kennzahlen ausstehend
Beschreibung
Bug Report
When running mypy on a script containing pd.pivot_table, the amount of time for mypy to finish grows exponentially with the number of columns selected and aggregated in the table.
To Reproduce
from string import ascii_letters
import numpy as np
import pandas as pd
df = pd.DataFrame({letter: [1, 2, 3] for letter in ascii_letters[:14]})
df2 = pd.pivot_table(
df,
values=["a", "b", "c", "d", "e", "f", "g", "h", "i", "j", "k", "l", "m", "n"],
columns=["a"],
aggfunc={
"a": np.sum,
"b": np.sum,
"c": np.sum,
"d": np.sum,
"e": np.sum,
"f": np.sum,
"g": np.sum,
"h": np.sum,
"i": np.sum,
"j": np.sum,
"k": np.sum,
"l": np.sum,
"m": np.sum,
"n": np.sum,
},
)
Expected Behavior
It should finish in <1s, like it does if there are fewer columns
Actual Behavior
Takes 200 seconds to run mypy on this script
Your Environment
- Mypy version used: 1.7.0
- Mypy command-line flags: None
- Mypy configuration options from
mypy.ini(and other config files): None - Python version used: 3.8.15
Beitragsleitfaden
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Starte zunächst den bereitgestellten Python-Reproducer mit mypy 1.7.0 und vergleiche die Laufzeit, während die Anzahl der ausgewählten Spalten zunimmt. Profiliere den Type-Checking-Pfad, um die Ursache des Wachstums zu ermitteln; als abgeschlossen gilt die Aufgabe, wenn der Reproducer mit der größeren Spaltenanzahl in weniger als einer Sekunde abgeschlossen wird, ohne sein Verhalten zu ändern.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- numpy, pandas, python
- Bereich
- devtools, performance
- Issue-Typ
- Bug
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 45/100