awslabs / awslabs/python-deequ
pydeequ on Azure Databricks running profiler getting keyerror
- Lingua principale
- Jupyter Notebook
- Stelle
- 826
- Fork
- 158
- Merge medio
- 9g 22h
- PR unite (30g)
- 3
Descrizione
Code:
from pydeequ.profiles import *
result = ColumnProfilerRunner(spark) \
.onData(df) \
.run()
for col, profile in result.profiles.items():
print(profile)
Error:
KeyError: 'StringColumnProfile'
---------------------------------------------------------------------------
KeyError Traceback (most recent call last)
File :5
1 from pydeequ.profiles import *
3 result = ColumnProfilerRunner(spark) \
4 .onData(df) \
----> 5 .run()
7 for col, profile in result.profiles.items():
8 print(profile)
Data Types is mostly string and decimal
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Start by reproducing the issue in Azure Databricks using the shown pydeequ.profiles import and ColumnProfilerRunner(spark) chain, with mostly string and decimal columns. Trace where result.profiles is built and where the StringColumnProfile key is resolved. Done means the profiler completes without the KeyError and returns profiles for the input columns.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- azure, python, spark
- Ambito
- cloud, data-engineering
- Tipo di issue
- Bug
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Tranquilla
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 35/100