Azure / Azure/MachineLearningNotebooks
OutputDatasetConfig.register_on_complete registers dataset if the step finish with error
- 主要言語
- Jupyter Notebook
- スター
- 4.4k
- フォーク
- 2.6k
- PR マージ指標
- 30日以内にマージされた PR はありません
説明
While I was running a pipeline a step finished with **Error**:
AzureMLCompute job failed.
DiskFullError: Disk full while running job. Reduce amount of data accessed, or upgrade VM Sku.
As a result of this step I had defined an OutputDatasetConfig with the properties "as_upload" and "register_on_complete". What I was expecting was not to upload dataset neither register it because the step finished with error, so the output is not right, but the situation was that the dataset was upload an registered, and this implies that a tagged version of the dataset is corrupted.
I recommend not to register a dataset if the step finishes with an error that it's what I would expect from documentation.
Regards
---
#### Document Details
⚠ *Do not edit this section. It is required for docs.microsoft.com ➟ GitHub issue linking.*
* ID: 02631223-bb1d-f9de-2536-23d753c98508
* Version Independent ID: f524ca56-5419-b233-b67a-a1b3d10408e7
* Content: [azureml.data.output_dataset_config.OutputDatasetConfig class - Azure Machine Learning Python](https://docs.microsoft.com/en-us/python/api/azureml-core/azureml.data.output_dataset_config.outputdatasetconfig?view=azure-ml-py)
* Content Source: [AzureML-Docset/stable/docs-ref-autogen/azureml-core/azureml.data.output_dataset_config.OutputDatasetConfig.yml](https://github.com/MicrosoftDocs/MachineLearning-Python-pr/blob/live/AzureML-Docset/stable/docs-ref-autogen/azureml-core/azureml.data.output_dataset_config.OutputDatasetConfig.yml)
* Service: **machine-learning**
* Sub-service: **core**
* GitHub Login: @DebFro
* Microsoft Alias: **debfro**
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
調査の方向性
OutputDatasetConfig のドキュメントとリンク先の AzureML-Docset ソースから始め、次に as_upload と register_on_complete の使用時に失敗するパイプラインステップを再現します。失敗後にアップロードと登録がいつ行われるかを追跡します。完了条件は、失敗したステップが破損した出力データセットをアップロードまたは登録せず、報告されたエラーケースをカバーすることです。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- azure, machine-learning, python
- 領域
- cloud, machine-learning
- issue の種類
- バグ
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 停滞
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 35/100