spark_version not capturing from OS environ in Azure databricks cluster

**Describe the bug**
spark_version not capturing from OS environ in Azure databricks cluster.
**To Reproduce**
Steps to reproduce the behavior:
1. Go to 'Azure databricks workspace'
2. Click on 'notebook'
3. Scroll down to 'try to run the pydeequ as a job'
4. See error


**Expected behavior**
We can use spark session to retrieve spark version.

**Screenshots**

**Desktop (please complete the following information):**
- OS: [e.g. iOS]
- Browser [e.g. chrome, safari]
- Version [e.g. 22]

**Smartphone (please complete the following information):**
- Device: [e.g. iPhone6]
- OS: [e.g. iOS8.1]
- Browser [e.g. stock browser, safari]
- Version [e.g. 22]

**Additional context**
Add any other context about the problem here.

Inizia riproducendo il problema in un notebook Azure Databricks eseguendo pydeequ come job. Esamina come pydeequ ottiene spark_version e confronta questo percorso con il recupero della versione dalla sessione Spark. Il lavoro è completato quando la versione di Spark è disponibile in questo ambiente e la regressione è coperta da un test appropriato.

Scritto dal modello di indicizzazione a partire dal testo della issue.