Azure / Azure/MachineLearningNotebooks

Issue with SynapseSparkStep in an AML pipeline to orchestrate data prep step

未關閉
#1,639 0 則留言 0 個 reaction 已指派 0 人 在 GitHub 檢視
主要語言
Jupyter Notebook
星號
4.4k
分支
2.6k
PR 合併指標
30 天內沒有已合併 PR

描述

https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/azure-synapse/spark_job_on_synapse_spark_pool.ipynb

I am following this document, and was able to run end to end a few weeks ago. However, it is suddenly not working when to save the output file to the HDFSOutputDatasetConfig file. My microsoft alias is klei@microsoft.com, can you please help ping me to resolve this issue?

貢獻指南

這個儲存庫沒有索引到貢獻指南

研究方向

開啟並重新執行 azure-synapse/spark_job_on_synapse_spark_pool.ipynb,重點關注 SynapseSparkStep 及其 HDFSOutputDatasetConfig 輸出。記錄儲存輸出時目前發生的失敗,並將其與先前正常運作的端對端流程進行比較;資料準備步驟完成且輸出檔案成功儲存即表示完成。

由索引模型根據 Issue 內容生成。

評估

技術堆疊
azure, jupyter-notebook, python
領域
data-engineering, machine-learning
Issue 類型
缺陷
難度
4/5
預估耗時
3-5 天
活躍度
停滯
描述清晰度
需要釐清
新手友好度
20/100

把新 issue 寄到你的電子郵件信箱

精選適合新手參與的 GitHub issue 摘要。