python / python/mypy

Running mypy on script with pd.pivot_table gets exponentially slower with more columns

Abierto
#16,749 0 comentarios 1 reacción 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

bug performance
Lenguaje dominante
Python
Estrellas
20.6k
Forks
3.3k
Métricas de merge de PR
Métricas de PR pendientes

Descripción

Bug Report

When running mypy on a script containing pd.pivot_table, the amount of time for mypy to finish grows exponentially with the number of columns selected and aggregated in the table.

To Reproduce

from string import ascii_letters

import numpy as np
import pandas as pd

df = pd.DataFrame({letter: [1, 2, 3] for letter in ascii_letters[:14]})

df2 = pd.pivot_table(
    df,
    values=["a", "b", "c", "d", "e", "f", "g", "h", "i", "j", "k", "l", "m", "n"],
    columns=["a"],
    aggfunc={
        "a": np.sum,
        "b": np.sum,
        "c": np.sum,
        "d": np.sum,
        "e": np.sum,
        "f": np.sum,
        "g": np.sum,
        "h": np.sum,
        "i": np.sum,
        "j": np.sum,
        "k": np.sum,
        "l": np.sum,
        "m": np.sum,
        "n": np.sum,
    },
)

Expected Behavior

It should finish in <1s, like it does if there are fewer columns

image

Actual Behavior

Takes 200 seconds to run mypy on this script

Your Environment

  • Mypy version used: 1.7.0
  • Mypy command-line flags: None
  • Mypy configuration options from mypy.ini (and other config files): None
  • Python version used: 3.8.15

Guía de contribución

Abrir la guía de contribución

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Línea de trabajo

Comienza ejecutando el reproductor de Python proporcionado con mypy 1.7.0 y compara el tiempo de ejecución a medida que aumenta el número de columnas seleccionadas. Perfila la ruta de comprobación de tipos para identificar el origen del crecimiento; se considera terminado cuando el reproductor se completa en menos de un segundo con el conjunto de columnas más grande, sin cambiar su comportamiento.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
numpy, pandas, python
Área
devtools, performance
Tipo de issue
Error
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Estancado
Claridad
Bastante claro
Aptitud para principiantes
45/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.