aws / aws/sagemaker-python-sdk

ModelTrainer generates sm_train.sh with CRLF line endings on Windows causing training job failure

Đang mở Phù hợp với người mới
#5,904 0 bình luận 1 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
Python
Star
2.3k
Fork
1.3k
Merge trung bình
1 ngày 22 giờ
Pull request đã merge (30 ngày)
35

Mô tả

**PySDK Version**
- [ ] PySDK V3 (3.x)

**Describe the bug**
When using `ModelTrainer` with `SourceCode` on Windows, the SDK internally generates `sm_train.sh` with CRLF (`\r\n`) line endings. This causes the training job to fail immediately when the Linux container tries to execute it.

The root cause is in model_trainer.py in the _prepare_train_script method:
with open(os.path.join(tmp_dir.name, TRAIN_SCRIPT), "w") as f:
f.write(train_script)

**To reproduce**
from sagemaker.train import ModelTrainer
from sagemaker.train.configs import SourceCode, Compute, InputData, OutputDataConfig

source_code = SourceCode(
source_dir="src",
entry_script="train.py",
requirements="requirements.txt"
)

compute = Compute(
instance_type="ml.m5.xlarge",
instance_count=1
)

model_trainer = ModelTrainer(
training_image="",
role="",
source_code=source_code,
compute=compute,
)

train_data = InputData(channel_name="train", data_source="s3://bucket/train/")
val_data = InputData(channel_name="validation", data_source="s3://bucket/val/")

model_trainer.train(input_data_config=[train_data, val_data], wait=True)

**Expected behavior**
sm_train.sh should always be written with LF (\n) line endings regardless of the host OS, since it will always be executed inside a Linux container.

**Error in CloudWatch Logs**
/opt/ml/input/data/sm_drivers/sm_train.sh: line 1: $'\r': command not found
/opt/ml/input/data/sm_drivers/sm_train.sh: line 3: set: -#015: invalid option
set: usage: set [-abefhkmnptuvxBCHP] [-o option-name] [--] [arg ...]
/opt/ml/input/data/sm_drivers/sm_train.sh: line 6: syntax error near unexpected token `$'{\r''
/opt/ml/input/data/sm_drivers/sm_train.sh: line 6: `handle_error() {#015'

**Proposed Fix**
## Current code (line in _prepare_train_script):
### with open(os.path.join(tmp_dir.name, TRAIN_SCRIPT), "w") as f:

## Fix — force LF line endings:
### with open(os.path.join(tmp_dir.name, TRAIN_SCRIPT), "w", newline="\n") as f:

**System information**
A description of your system. Please provide:
- **SageMaker Python SDK version**:3.x
- **Framework name or algorithm **:XgBoost
- **Framework version**:1.7-1
- **Python version**:3.11.5
- **CPU or GPU**:CPU (ml.m5.xlarge)
- **Custom Docker image (Y/N)**:N

**Additional context**
This issue affects all Windows users of the new ModelTrainer API (PySDK V3). The sm_train.sh file is generated entirely by the SDK on the client machine and is never touched by the user, making it impossible to fix without either patching the SDK or switching to the older Estimator API. The fix is a single-character change adding newline="\n" to the open() call.

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Mở model_trainer.py và kiểm tra phương thức _prepare_train_script, nơi sm_train.sh được ghi. Xác minh rằng script được tạo sử dụng ký tự kết thúc dòng LF trên Windows, sau đó chạy các kiểm tra ModelTrainer liên quan hoặc tái hiện đường dẫn tạo trên Windows để xác nhận rằng script có thể thực thi trong container Linux.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
aws, python
Lĩnh vực
machine-learning
Loại issue
Lỗi
Độ khó
1/5
Thời gian dự kiến
Dưới một giờ
Mức độ hoạt động
Ít trao đổi
Độ rõ ràng
Đặc tả rõ ràng
Mức phù hợp với người mới
88/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.