Azure / Azure/azure-storage-python
additionally_allowed_tenants config not found in Spark session for Multi-tenant app
- Vorherrschende Sprache
- Python
- Sterne
- 343
- Forks
- 243
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
We have a multi-tenant Azure app (Tenant A, Tenant B). We are using Tenant A's Service Principle credentials to access the ADLS files on Tenant B. We are using pySpark for this job.
Using the above multi-tenant app credential, we are getting 401 unauthorized error in spark session.
But if we are using Python library (azure.identity), then using the following 'additionally_allowed_tenants' options enables us to authorize the access Tenant B's ADLS containers using Tenant A's credentials.
`default_credential = DefaultAzureCredential(additionally_allowed_tenants=['*'])`
We want to achieve the same with pySpark, but we can't see any option or configuration available to do it through Spark session.
We are using:
- Apache Spark 3.5.0
- Databricks Notebook (Runtime Version 14.3 LTS)
- [Azure Service Principle](https://docs.databricks.com/en/connect/storage/azure-storage.html#language-Azure%C2%A0service%C2%A0principal)
Please guide us to resolve this issue.
Beitragsleitfaden
Rechercherichtung
Beginne mit der im Issue beschriebenen Service-Principal-Konfiguration für Databricks und Apache Spark und vergleiche sie anschließend mit dem Verhalten von Python azure.identity's additionally_allowed_tenants. Ermittle, ob Spark eine gleichwertige Tenant-Allowlist-Einstellung für den mandantenübergreifenden ADLS-Zugriff bereitstellt; abgeschlossen ist die Untersuchung, wenn eine dokumentierte oder implementierte Konfiguration gefunden wurde, die die gemeldete 401-Antwort vermeidet.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- azure, python, spark
- Bereich
- cloud, data-engineering
- Issue-Typ
- Feature
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 35/100