Azure / Azure/azure-storage-python

additionally_allowed_tenants config not found in Spark session for Multi-tenant app

Đang mở
#718 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
Python
Star
343
Fork
243
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Mô tả

We have a multi-tenant Azure app (Tenant A, Tenant B). We are using Tenant A's Service Principle credentials to access the ADLS files on Tenant B. We are using pySpark for this job.

Using the above multi-tenant app credential, we are getting 401 unauthorized error in spark session.

But if we are using Python library (azure.identity), then using the following 'additionally_allowed_tenants' options enables us to authorize the access Tenant B's ADLS containers using Tenant A's credentials.

`default_credential = DefaultAzureCredential(additionally_allowed_tenants=['*'])`

We want to achieve the same with pySpark, but we can't see any option or configuration available to do it through Spark session.

We are using:
- Apache Spark 3.5.0
- Databricks Notebook (Runtime Version 14.3 LTS)
- [Azure Service Principle](https://docs.databricks.com/en/connect/storage/azure-storage.html#language-Azure%C2%A0service%C2%A0principal)

Please guide us to resolve this issue.

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Bắt đầu với cấu hình service principal của Databricks và Apache Spark được mô tả trong issue, sau đó so sánh cấu hình này với hành vi của additionally_allowed_tenants trong Python azure.identity. Xác định xem Spark có cung cấp một thiết lập danh sách cho phép tenant tương đương cho quyền truy cập ADLS cross-tenant hay không; được xem là hoàn tất khi có một cấu hình được ghi lại trong tài liệu hoặc đã được triển khai để tránh phản hồi 401 đã báo cáo.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
azure, python, spark
Lĩnh vực
cloud, data-engineering
Loại issue
Tính năng
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.