Azure / Azure/MachineLearningNotebooks
Issue with SynapseSparkStep in an AML pipeline to orchestrate data prep step
- 主要言語
- Jupyter Notebook
- スター
- 4.4k
- フォーク
- 2.6k
- PR マージ指標
- 30日以内にマージされた PR はありません
説明
https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/azure-synapse/spark_job_on_synapse_spark_pool.ipynb
I am following this document, and was able to run end to end a few weeks ago. However, it is suddenly not working when to save the output file to the HDFSOutputDatasetConfig file. My microsoft alias is klei@microsoft.com, can you please help ping me to resolve this issue?
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
調査の方向性
azure-synapse/spark_job_on_synapse_spark_pool.ipynb を開いて再実行し、SynapseSparkStep とその出力 HDFSOutputDatasetConfig に注目してください。出力の保存時に発生する現在の失敗を記録し、以前は動作していた end-to-end フローと比較してください。データ準備ステップが完了し、出力ファイルが正常に保存されれば完了です。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- azure, jupyter-notebook, python
- 領域
- data-engineering, machine-learning
- issue の種類
- バグ
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 停滞
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 20/100