awslabs / awslabs/python-deequ
Unable to resolve column names with a '.' in the name
- Lingua principale
- Jupyter Notebook
- Stelle
- 826
- Fork
- 158
- Merge medio
- 9g 22h
- PR unite (30g)
- 3
Descrizione
**Describe the bug**
When attempting to use any check on a field that has a '.' in the name such as:
```
.isComplete("column.name")
```
You will get an exception like:
```
Exception: Verification checks failed: [{'check_status': 'Error', 'check_level': 'Error', 'constraint_status': 'Failure', 'check': 'Verification checks', 'constraint_message': "org.apache.spark.sql.AnalysisException: cannot resolve '`column.name`' given input columns: [column.name];
```
**To Reproduce**
Steps to reproduce the behavior:
1. Create a data source with a column name that has a '.' in such as 'column.name'
2. Create a verification suite that includes the check `.isComplete("column.name")`
3. Run the code
4. See the error
**Expected behavior**
The field name should be resolved, allowing checks to be performed
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Inizia dal percorso .isComplete("column.name") nella Python API e riproduci il problema utilizzando una sorgente dati Spark il cui nome di colonna contiene un punto. Traccia il modo in cui quel nome di campo raggiunge la risoluzione di Spark SQL; il lavoro è completo quando i controlli di verifica possono essere eseguiti correttamente sul nome di colonna contenente un punto.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python, spark
- Ambito
- data-engineering
- Tipo di issue
- Bug
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Stato di attività
- Tranquilla
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 45/100