Azure / Azure/azure-storage-python
additionally_allowed_tenants config not found in Spark session for Multi-tenant app
- Ngôn ngữ chính
- Python
- Star
- 343
- Fork
- 243
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
We have a multi-tenant Azure app (Tenant A, Tenant B). We are using Tenant A's Service Principle credentials to access the ADLS files on Tenant B. We are using pySpark for this job.
Using the above multi-tenant app credential, we are getting 401 unauthorized error in spark session.
But if we are using Python library (azure.identity), then using the following 'additionally_allowed_tenants' options enables us to authorize the access Tenant B's ADLS containers using Tenant A's credentials.
`default_credential = DefaultAzureCredential(additionally_allowed_tenants=['*'])`
We want to achieve the same with pySpark, but we can't see any option or configuration available to do it through Spark session.
We are using:
- Apache Spark 3.5.0
- Databricks Notebook (Runtime Version 14.3 LTS)
- [Azure Service Principle](https://docs.databricks.com/en/connect/storage/azure-storage.html#language-Azure%C2%A0service%C2%A0principal)
Please guide us to resolve this issue.
Hướng dẫn đóng góp
Hướng nghiên cứu
Bắt đầu với cấu hình service principal của Databricks và Apache Spark được mô tả trong issue, sau đó so sánh cấu hình này với hành vi của additionally_allowed_tenants trong Python azure.identity. Xác định xem Spark có cung cấp một thiết lập danh sách cho phép tenant tương đương cho quyền truy cập ADLS cross-tenant hay không; được xem là hoàn tất khi có một cấu hình được ghi lại trong tài liệu hoặc đã được triển khai để tránh phản hồi 401 đã báo cáo.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- azure, python, spark
- Lĩnh vực
- cloud, data-engineering
- Loại issue
- Tính năng
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 35/100