Azure / Azure/azure-storage-python

additionally_allowed_tenants config not found in Spark session for Multi-tenant app

Offen
#718 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Python
Sterne
343
Forks
243
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

We have a multi-tenant Azure app (Tenant A, Tenant B). We are using Tenant A's Service Principle credentials to access the ADLS files on Tenant B. We are using pySpark for this job.

Using the above multi-tenant app credential, we are getting 401 unauthorized error in spark session.

But if we are using Python library (azure.identity), then using the following 'additionally_allowed_tenants' options enables us to authorize the access Tenant B's ADLS containers using Tenant A's credentials.

`default_credential = DefaultAzureCredential(additionally_allowed_tenants=['*'])`

We want to achieve the same with pySpark, but we can't see any option or configuration available to do it through Spark session.

We are using:
- Apache Spark 3.5.0
- Databricks Notebook (Runtime Version 14.3 LTS)
- [Azure Service Principle](https://docs.databricks.com/en/connect/storage/azure-storage.html#language-Azure%C2%A0service%C2%A0principal)

Please guide us to resolve this issue.

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne mit der im Issue beschriebenen Service-Principal-Konfiguration für Databricks und Apache Spark und vergleiche sie anschließend mit dem Verhalten von Python azure.identity's additionally_allowed_tenants. Ermittle, ob Spark eine gleichwertige Tenant-Allowlist-Einstellung für den mandantenübergreifenden ADLS-Zugriff bereitstellt; abgeschlossen ist die Untersuchung, wenn eine dokumentierte oder implementierte Konfiguration gefunden wurde, die die gemeldete 401-Antwort vermeidet.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
azure, python, spark
Bereich
cloud, data-engineering
Issue-Typ
Feature
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.