awslabs / awslabs/python-deequ

Error using com.amazon.deequ.analyzers.runners.MetricCalculationRuntimeException: org.apache.spark.sql.AnalysisException: cannot resolve '`Data.Id`' given input columns

Aperta
#77 1 commento 0 reazioni 0 assegnatari Vedi su GitHub
bug
Lingua principale
Jupyter Notebook
Stelle
826
Fork
158
Merge medio
9g 22h
PR unite (30g)
3

Descrizione

**Describe the bug**
When i pass the df to ColumnProfilerRunner and the column has a dot e.g: `Data.Id` the following error appears:

"Error using com.amazon.deequ.analyzers.runners.MetricCalculationRuntimeException: "org.apache.spark.sql.AnalysisException: cannot resolve '`Data.Id`' given input columns"

The call:
result = ColumnProfilerRunner(spark) \
.onData(df) \
.run()

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia riproducendo il malfunzionamento con ColumnProfilerRunner su un DataFrame contenente una colonna denominata Data.Id, quindi segui il percorso della Python API fino all’errore di analisi di Spark. Il lavoro è completato quando il profiling riesce per i nomi di colonna contenenti punti senza la AnalysisException; il payload non indica file o test da eseguire.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python, spark
Ambito
data-engineering
Tipo di issue
Bug
Difficoltà
3/5
Tempo stimato
1-2 giorni
Stato di attività
Tranquilla
Chiarezza
Da chiarire
Idoneità per principianti
38/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.