awslabs / awslabs/python-deequ

Unable to resolve column names with a '.' in the name

Aperta
#99 1 commento 0 reazioni 0 assegnatari Vedi su GitHub
bug enhancement
Lingua principale
Jupyter Notebook
Stelle
826
Fork
158
Merge medio
9g 22h
PR unite (30g)
3

Descrizione

**Describe the bug**
When attempting to use any check on a field that has a '.' in the name such as:
```
.isComplete("column.name")
```
You will get an exception like:
```
Exception: Verification checks failed: [{'check_status': 'Error', 'check_level': 'Error', 'constraint_status': 'Failure', 'check': 'Verification checks', 'constraint_message': "org.apache.spark.sql.AnalysisException: cannot resolve '`column.name`' given input columns: [column.name];
```

**To Reproduce**
Steps to reproduce the behavior:
1. Create a data source with a column name that has a '.' in such as 'column.name'
2. Create a verification suite that includes the check `.isComplete("column.name")`
3. Run the code
4. See the error

**Expected behavior**
The field name should be resolved, allowing checks to be performed

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia dal percorso .isComplete("column.name") nella Python API e riproduci il problema utilizzando una sorgente dati Spark il cui nome di colonna contiene un punto. Traccia il modo in cui quel nome di campo raggiunge la risoluzione di Spark SQL; il lavoro è completo quando i controlli di verifica possono essere eseguiti correttamente sul nome di colonna contenente un punto.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python, spark
Ambito
data-engineering
Tipo di issue
Bug
Difficoltà
3/5
Tempo stimato
1-2 giorni
Stato di attività
Tranquilla
Chiarezza
Abbastanza chiara
Idoneità per principianti
45/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.