awslabs / awslabs/python-deequ

Unable to resolve column names with a '.' in the name

Offen
#99 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
bug enhancement
Vorherrschende Sprache
Jupyter Notebook
Sterne
826
Forks
158
Ø Merge
9 T. 22 Std.
Gemergte PRs (30 T.)
3

Beschreibung

**Describe the bug**
When attempting to use any check on a field that has a '.' in the name such as:
```
.isComplete("column.name")
```
You will get an exception like:
```
Exception: Verification checks failed: [{'check_status': 'Error', 'check_level': 'Error', 'constraint_status': 'Failure', 'check': 'Verification checks', 'constraint_message': "org.apache.spark.sql.AnalysisException: cannot resolve '`column.name`' given input columns: [column.name];
```

**To Reproduce**
Steps to reproduce the behavior:
1. Create a data source with a column name that has a '.' in such as 'column.name'
2. Create a verification suite that includes the check `.isComplete("column.name")`
3. Run the code
4. See the error

**Expected behavior**
The field name should be resolved, allowing checks to be performed

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne mit dem .isComplete("column.name")-Pfad in der Python API und reproduziere den Fehler mithilfe einer Spark-Datenquelle, deren Spaltenname einen Punkt enthält. Verfolge, wie dieser Feldname die Auflösung durch Spark SQL erreicht; die Arbeit ist abgeschlossen, wenn Verifizierungsprüfungen erfolgreich gegen den Spaltennamen mit Punkt ausgeführt werden können.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python, spark
Bereich
data-engineering
Issue-Typ
Bug
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Ruhig
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
45/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.