Azure / Azure/MachineLearningNotebooks
How to create Pipeline parameters for data stored in DataLakeGen2 and use in Azure Synapse/Data Factory?
- 主要言語
- Jupyter Notebook
- スター
- 4.4k
- フォーク
- 2.6k
- PR マージ指標
- 30日以内にマージされた PR はありません
説明
I am trying to create pipeline parameters for variable data access to a Synapse DataLakeGen2 datastore and invoke the pipeline with the 'Machine Learning Execute Pipeline' activity in Azure Synapse . According to the microsoft docs, datasets are the recommended way for interaction with the AzureDataLakeGen2Datastore class. I have verified this by trying to use DataPathComputeBinding with either the 'mount' or the 'download' mode, neither of which are supported for Gen2 datastores. So then I tried the DatasetConsumptionConfig class to pass the data to the compute target, which requires a dataset as a pipeline parameter. Unfortunately, the 'Machine Learning Execute Pipeline activity' only supports string or DataPath variables, so I could not find a way to pass a Dataset:

I then tried to use the DataPath as parameter input and convert it to a dataset, but the PipelineParameter class does not seem to provide any methods to retrieve the underlying DataPath:
```python
datapath = DataPath(datastore=datastore, path_on_datastore=path)
data_path_pipeline_param = (PipelineParameter(name="input_data", default_value=datapath))
#does not work
dataset_parquet = Dataset.Tabular.from_parquet_files(data_path_pipeline_param)
ds_consumption = DatasetConsumptionConfig("input", dataset_parquet)
```
Is there a recommended way to do this?
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
調査の方向性
まず、issueで説明されている PipelineParameter、DataPath、DatasetConsumptionConfig、および Machine Learning Execute Pipeline アクティビティのドキュメントを確認します。Dataset をサポートされている string または DataPath の入力経由で渡せるかどうかを判断し、Azure Data Lake Gen2 のパイプライン データに対するサポートされている方法を文書化または実装します。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- azure, python
- 領域
- cloud, data-engineering, machine-learning
- issue の種類
- 機能追加
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 活発さ
- 停滞
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 25/100