aws / aws/sagemaker-python-sdk

ModelTrainer generates sm_train.sh with CRLF line endings on Windows causing training job failure

オープン 初心者向け
#5,904 コメント 0 件 リアクション 1 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
2.3k
フォーク
1.3k
平均マージ
1日 22時間
マージ済み PR(30日)
35

説明

**PySDK Version**
- [ ] PySDK V3 (3.x)

**Describe the bug**
When using `ModelTrainer` with `SourceCode` on Windows, the SDK internally generates `sm_train.sh` with CRLF (`\r\n`) line endings. This causes the training job to fail immediately when the Linux container tries to execute it.

The root cause is in model_trainer.py in the _prepare_train_script method:
with open(os.path.join(tmp_dir.name, TRAIN_SCRIPT), "w") as f:
f.write(train_script)

**To reproduce**
from sagemaker.train import ModelTrainer
from sagemaker.train.configs import SourceCode, Compute, InputData, OutputDataConfig

source_code = SourceCode(
source_dir="src",
entry_script="train.py",
requirements="requirements.txt"
)

compute = Compute(
instance_type="ml.m5.xlarge",
instance_count=1
)

model_trainer = ModelTrainer(
training_image="",
role="",
source_code=source_code,
compute=compute,
)

train_data = InputData(channel_name="train", data_source="s3://bucket/train/")
val_data = InputData(channel_name="validation", data_source="s3://bucket/val/")

model_trainer.train(input_data_config=[train_data, val_data], wait=True)

**Expected behavior**
sm_train.sh should always be written with LF (\n) line endings regardless of the host OS, since it will always be executed inside a Linux container.

**Error in CloudWatch Logs**
/opt/ml/input/data/sm_drivers/sm_train.sh: line 1: $'\r': command not found
/opt/ml/input/data/sm_drivers/sm_train.sh: line 3: set: -#015: invalid option
set: usage: set [-abefhkmnptuvxBCHP] [-o option-name] [--] [arg ...]
/opt/ml/input/data/sm_drivers/sm_train.sh: line 6: syntax error near unexpected token `$'{\r''
/opt/ml/input/data/sm_drivers/sm_train.sh: line 6: `handle_error() {#015'

**Proposed Fix**
## Current code (line in _prepare_train_script):
### with open(os.path.join(tmp_dir.name, TRAIN_SCRIPT), "w") as f:

## Fix — force LF line endings:
### with open(os.path.join(tmp_dir.name, TRAIN_SCRIPT), "w", newline="\n") as f:

**System information**
A description of your system. Please provide:
- **SageMaker Python SDK version**:3.x
- **Framework name or algorithm **:XgBoost
- **Framework version**:1.7-1
- **Python version**:3.11.5
- **CPU or GPU**:CPU (ml.m5.xlarge)
- **Custom Docker image (Y/N)**:N

**Additional context**
This issue affects all Windows users of the new ModelTrainer API (PySDK V3). The sm_train.sh file is generated entirely by the SDK on the client machine and is never touched by the user, making it impossible to fix without either patching the SDK or switching to the older Estimator API. The fix is a single-character change adding newline="\n" to the open() call.

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

model_trainer.py を開き、sm_train.sh が書き込まれる _prepare_train_script メソッドを調べてください。生成されたスクリプトが Windows で LF の改行コードを使用していることを確認し、その後、関連する ModelTrainer のチェックを実行するか、Windows の生成パスを再現して、スクリプトが Linux コンテナで実行できることを確認してください。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
aws, python
領域
machine-learning
issue の種類
バグ
難易度
1/5
見積もり時間
1時間未満
活発さ
静か
明瞭さ
明確に書かれている
初心者へのやさしさ
88/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。