awslabs / awslabs/python-deequ

pydeequ on Azure Databricks running profiler getting keyerror

Aperta
#148 8 commenti 0 reazioni 0 assegnatari Vedi su GitHub
bug
Lingua principale
Jupyter Notebook
Stelle
826
Fork
158
Merge medio
9g 22h
PR unite (30g)
3

Descrizione

Code:
from pydeequ.profiles import *

result = ColumnProfilerRunner(spark) \
.onData(df) \
.run()

for col, profile in result.profiles.items():
print(profile)

Error:
KeyError: 'StringColumnProfile'
---------------------------------------------------------------------------
KeyError Traceback (most recent call last)
File :5
1 from pydeequ.profiles import *
3 result = ColumnProfilerRunner(spark) \
4 .onData(df) \
----> 5 .run()
7 for col, profile in result.profiles.items():
8 print(profile)

Data Types is mostly string and decimal

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Start by reproducing the issue in Azure Databricks using the shown pydeequ.profiles import and ColumnProfilerRunner(spark) chain, with mostly string and decimal columns. Trace where result.profiles is built and where the StringColumnProfile key is resolved. Done means the profiler completes without the KeyError and returns profiles for the input columns.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
azure, python, spark
Ambito
cloud, data-engineering
Tipo di issue
Bug
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Tranquilla
Chiarezza
Da chiarire
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.