Running mypy on script with pd.pivot_table gets exponentially slower with more columns
Nessuno ha ancora preso questa issue.
- Lingua principale
- Python
- Stelle
- 20.6k
- Fork
- 3.3k
- Metriche di merge delle PR
- Metriche PR in attesa
Descrizione
Bug Report
When running mypy on a script containing pd.pivot_table, the amount of time for mypy to finish grows exponentially with the number of columns selected and aggregated in the table.
To Reproduce
from string import ascii_letters
import numpy as np
import pandas as pd
df = pd.DataFrame({letter: [1, 2, 3] for letter in ascii_letters[:14]})
df2 = pd.pivot_table(
df,
values=["a", "b", "c", "d", "e", "f", "g", "h", "i", "j", "k", "l", "m", "n"],
columns=["a"],
aggfunc={
"a": np.sum,
"b": np.sum,
"c": np.sum,
"d": np.sum,
"e": np.sum,
"f": np.sum,
"g": np.sum,
"h": np.sum,
"i": np.sum,
"j": np.sum,
"k": np.sum,
"l": np.sum,
"m": np.sum,
"n": np.sum,
},
)
Expected Behavior
It should finish in <1s, like it does if there are fewer columns
Actual Behavior
Takes 200 seconds to run mypy on this script
Your Environment
- Mypy version used: 1.7.0
- Mypy command-line flags: None
- Mypy configuration options from
mypy.ini(and other config files): None - Python version used: 3.8.15
Guida per i contributori
Apri la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Direzione di ricerca
Inizia eseguendo il riproduttore Python fornito con mypy 1.7.0 e confronta il tempo di esecuzione man mano che aumentano le colonne selezionate. Esegui il profiling del percorso di type checking per identificare l’origine della crescita; il lavoro è completato quando il riproduttore termina in meno di un secondo con il set di colonne più grande, senza modificarne il comportamento.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- numpy, pandas, python
- Ambito
- devtools, performance
- Tipo di issue
- Bug
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 45/100