Azure / Azure/MachineLearningNotebooks

DataBricksStep has deprecated init_scripts incorrectly

Đang mở
#1,973 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
Jupyter Notebook
Star
4.4k
Fork
2.6k
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Mô tả

The argument init_script is no longer working for DataBricksStep(). The docs cite the following reason.

init_scripts | [str]Deprecated. Databricks announced the init script stored in DBFS will stop work after Dec 1, 2023. To mitigate the issue, please 1) use global init scripts in databricks following https://learn.microsoft.com/azure/databricks/init-scripts/global 2) comment out the line of init_scripts in your AzureML databricks step.

However, init_scripts have not been deprecated by DataBricks. DataBricks has deprecated storing init_scripts in dbfs:/ location, and instead suggets to store them in Workspace folders. This is what DataBricks recommends for all clusters and is, in fact, the only possible way for Unity Catalog enabled DataBricks clusters as global init scripts does not work for them.

Please enable init_scripts parameter for the DataBricksStep() as the current way of using global init_scripts does not work for Unity Catalog enabled clusters.

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Hướng nghiên cứu

Bắt đầu bằng cách xác định DataBricksStep và cách xử lý tham số init_scripts của nó, sau đó so sánh tài liệu hiện tại với hướng dẫn init script của Databricks được liên kết. Công việc hoàn tất khi các init script trong thư mục Workspace vẫn có thể sử dụng cho các cluster đã bật Unity Catalog và hướng dẫn ngừng sử dụng mô tả chính xác việc lưu trữ trên DBFS thay vì vô hiệu hóa init_scripts.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
azure, python
Lĩnh vực
cloud, machine-learning
Loại issue
Tính năng
Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
38/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.