awslabs / awslabs/python-deequ
Error using com.amazon.deequ.analyzers.runners.MetricCalculationRuntimeException: org.apache.spark.sql.AnalysisException: cannot resolve '`Data.Id`' given input columns
- Vorherrschende Sprache
- Jupyter Notebook
- Sterne
- 826
- Forks
- 158
- Ø Merge
- 9 T. 22 Std.
- Gemergte PRs (30 T.)
- 3
Beschreibung
**Describe the bug**
When i pass the df to ColumnProfilerRunner and the column has a dot e.g: `Data.Id` the following error appears:
"Error using com.amazon.deequ.analyzers.runners.MetricCalculationRuntimeException: "org.apache.spark.sql.AnalysisException: cannot resolve '`Data.Id`' given input columns"
The call:
result = ColumnProfilerRunner(spark) \
.onData(df) \
.run()
Beitragsleitfaden
Rechercherichtung
Beginne damit, den Fehler mit ColumnProfilerRunner auf einem DataFrame zu reproduzieren, das eine Spalte namens Data.Id enthält, und verfolge dann den Python API-Pfad bis zum Spark-Analysefehler. Erledigt ist es, wenn das Profiling für Spaltennamen mit Punkten ohne die AnalysisException erfolgreich ist; der Payload nennt keine Dateien oder auszuführenden Tests.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python, spark
- Bereich
- data-engineering
- Issue-Typ
- Bug
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Aktivitätsstatus
- Ruhig
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 38/100