aws / aws/sagemaker-python-sdk

ModelBuilder fails w/ DJL container using HF_MODEL_ID

オープン 初心者向け
#5,588 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
2.3k
フォーク
1.3k
平均マージ
1日 22時間
マージ済み PR(30日)
35

説明

**PySDK Version**
- [ ] PySDK V2 (2.x)
- [X] PySDK V3 (3.4.0)

**Describe the bug**
When using ModelBuilder in "passthrough" mode (image_uri + env_vars, no model
or inference_spec), `build()` fails with a ValidationException because a
non-existent S3 path is injected as `ModelDataUrl` in the CreateModel request.

Passthrough mode is the intended path for deploying models on custom/DJL
containers where the container itself handles model loading (e.g. via
HF_MODEL_ID env var pointing to S3).

**Expected behavior**
Expected: Model created with no ModelDataUrl (container loads via HF_MODEL_ID)
Actual: ValidationException -- "Could not find model data at
s3:///model-builder///"

**Suggested Fix**

In `_build_for_passthrough()`, also clear `s3_model_data_url`:

def _build_for_passthrough(self) -> Model:
if not self.image_uri:
raise ValueError("image_uri is required for pass-through cases")
self.s3_upload_path = None
self.s3_model_data_url = None # <-- add this line
return self._create_model()

**To reproduce**
```
from sagemaker.core.helper.session_helper import Session, get_execution_role
from sagemaker.serve.model_builder import ModelBuilder

sagemaker_session = Session()
region = sagemaker_session.boto_session.region_name
role = get_execution_role(sagemaker_session, use_default=True)
bucket = sagemaker_session.default_bucket()

image_uri = f"763104351884.dkr.ecr.{region}.amazonaws.com/djl-inference:0.33.0-lmi15.0.0-cu128"

model_builder = ModelBuilder(
image_uri=image_uri,
role_arn=role,
sagemaker_session=sagemaker_session,
instance_type="ml.g5.2xlarge",
env_vars={
"HF_MODEL_ID": f"s3://{bucket}/models/any-model",
"OPTION_ROLLING_BATCH": "vllm",
},
)

model_builder.build(model_name="passthrough-bug-repro")

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

ModelBuilder._build_for_passthrough() から始めて、_create_model() に渡される値を追跡します。image_uri と HF_MODEL_ID を使って passthrough のビルドを再現し、成功した CreateModel リクエストで ModelDataUrl が省略され、コンテナが設定されたモデルを S3 からロードできることを確認します。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
aws, python
領域
cloud, machine-learning
issue の種類
バグ
難易度
2/5
見積もり時間
1〜3時間
活発さ
静か
明瞭さ
明確に書かれている
初心者へのやさしさ
68/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。