awslabs / awslabs/python-deequ
Unable to resolve column names with a '.' in the name
- Vorherrschende Sprache
- Jupyter Notebook
- Sterne
- 826
- Forks
- 158
- Ø Merge
- 9 T. 22 Std.
- Gemergte PRs (30 T.)
- 3
Beschreibung
**Describe the bug**
When attempting to use any check on a field that has a '.' in the name such as:
```
.isComplete("column.name")
```
You will get an exception like:
```
Exception: Verification checks failed: [{'check_status': 'Error', 'check_level': 'Error', 'constraint_status': 'Failure', 'check': 'Verification checks', 'constraint_message': "org.apache.spark.sql.AnalysisException: cannot resolve '`column.name`' given input columns: [column.name];
```
**To Reproduce**
Steps to reproduce the behavior:
1. Create a data source with a column name that has a '.' in such as 'column.name'
2. Create a verification suite that includes the check `.isComplete("column.name")`
3. Run the code
4. See the error
**Expected behavior**
The field name should be resolved, allowing checks to be performed
Beitragsleitfaden
Rechercherichtung
Beginne mit dem .isComplete("column.name")-Pfad in der Python API und reproduziere den Fehler mithilfe einer Spark-Datenquelle, deren Spaltenname einen Punkt enthält. Verfolge, wie dieser Feldname die Auflösung durch Spark SQL erreicht; die Arbeit ist abgeschlossen, wenn Verifizierungsprüfungen erfolgreich gegen den Spaltennamen mit Punkt ausgeführt werden können.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python, spark
- Bereich
- data-engineering
- Issue-Typ
- Bug
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Aktivitätsstatus
- Ruhig
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 45/100