awslabs / awslabs/python-deequ

Error using com.amazon.deequ.analyzers.runners.MetricCalculationRuntimeException: org.apache.spark.sql.AnalysisException: cannot resolve '`Data.Id`' given input columns

Offen
#77 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
bug
Vorherrschende Sprache
Jupyter Notebook
Sterne
826
Forks
158
Ø Merge
9 T. 22 Std.
Gemergte PRs (30 T.)
3

Beschreibung

**Describe the bug**
When i pass the df to ColumnProfilerRunner and the column has a dot e.g: `Data.Id` the following error appears:

"Error using com.amazon.deequ.analyzers.runners.MetricCalculationRuntimeException: "org.apache.spark.sql.AnalysisException: cannot resolve '`Data.Id`' given input columns"

The call:
result = ColumnProfilerRunner(spark) \
.onData(df) \
.run()

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne damit, den Fehler mit ColumnProfilerRunner auf einem DataFrame zu reproduzieren, das eine Spalte namens Data.Id enthält, und verfolge dann den Python API-Pfad bis zum Spark-Analysefehler. Erledigt ist es, wenn das Profiling für Spaltennamen mit Punkten ohne die AnalysisException erfolgreich ist; der Payload nennt keine Dateien oder auszuführenden Tests.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python, spark
Bereich
data-engineering
Issue-Typ
Bug
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Ruhig
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
38/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.