awslabs / awslabs/python-deequ

pydeequ on Azure Databricks running profiler getting keyerror

Abierto
#148 8 comentarios 0 reacciones 0 asignados Ver en GitHub
bug
Lenguaje dominante
Jupyter Notebook
Estrellas
826
Forks
158
Merge medio
9 d 22 h
PR fusionados (30 d)
3

Descripción

Code:
from pydeequ.profiles import *

result = ColumnProfilerRunner(spark) \
.onData(df) \
.run()

for col, profile in result.profiles.items():
print(profile)

Error:
KeyError: 'StringColumnProfile'
---------------------------------------------------------------------------
KeyError Traceback (most recent call last)
File :5
1 from pydeequ.profiles import *
3 result = ColumnProfilerRunner(spark) \
4 .onData(df) \
----> 5 .run()
7 for col, profile in result.profiles.items():
8 print(profile)

Data Types is mostly string and decimal

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

Start by reproducing the issue in Azure Databricks using the shown pydeequ.profiles import and ColumnProfilerRunner(spark) chain, with mostly string and decimal columns. Trace where result.profiles is built and where the StringColumnProfile key is resolved. Done means the profiler completes without the KeyError and returns profiles for the input columns.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
azure, python, spark
Área
cloud, data-engineering
Tipo de issue
Error
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Tranquilo
Claridad
Necesita aclaración
Aptitud para principiantes
35/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.