Azure / Azure/azure-storage-python

additionally_allowed_tenants config not found in Spark session for Multi-tenant app

未关闭
#718 0 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看
主要语言
Python
星标
343
派生
243
PR 合并指标
30 天内没有已合并 PR

描述

We have a multi-tenant Azure app (Tenant A, Tenant B). We are using Tenant A's Service Principle credentials to access the ADLS files on Tenant B. We are using pySpark for this job.

Using the above multi-tenant app credential, we are getting 401 unauthorized error in spark session.

But if we are using Python library (azure.identity), then using the following 'additionally_allowed_tenants' options enables us to authorize the access Tenant B's ADLS containers using Tenant A's credentials.

`default_credential = DefaultAzureCredential(additionally_allowed_tenants=['*'])`

We want to achieve the same with pySpark, but we can't see any option or configuration available to do it through Spark session.

We are using:
- Apache Spark 3.5.0
- Databricks Notebook (Runtime Version 14.3 LTS)
- [Azure Service Principle](https://docs.databricks.com/en/connect/storage/azure-storage.html#language-Azure%C2%A0service%C2%A0principal)

Please guide us to resolve this issue.

贡献指南

打开贡献指南

调研方向

从 issue 中描述的 Databricks 和 Apache Spark 服务主体配置开始,然后将其与 Python azure.identity 的 additionally_allowed_tenants 行为进行比较。确定 Spark 是否为跨租户 ADLS 访问提供等效的租户允许列表设置;完成的标准是存在一种有文档说明或已实现的配置,可以避免报告的 401 响应。

由索引模型根据 Issue 内容生成。

评估

技术栈
azure, python, spark
领域
cloud, data-engineering
Issue 类型
功能
难度
4/5
预计耗时
3-5 天
活跃度
停滞
描述清晰度
基本清楚
新手友好度
35/100

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。