aws / aws/sagemaker-python-sdk
Unable to increase context length in SM serverless customizations
- Ngôn ngữ chính
- Python
- Star
- 2.3k
- Fork
- 1.3k
- Merge trung bình
- 1 ngày 22 giờ
- Pull request đã merge (30 ngày)
- 35
Mô tả
**Describe the feature you'd like**
Currently customers cannot use GRPO for Qwen model customization for models using long context (more than 2048 tokens)
**How would this feature be used? Please describe.**
Should work similar to JumpStart training implementation:
estimator = JumpStartEstimator(
model_id="meta-textgeneration-llama-2-7b",
hyperparameters={
"max_input_length": "4096", # Update context length here
"max_total_tokens": "4096"
}
)
**Describe alternatives you've considered**
Using SM training jobs for GRPO training with recipes.
**Additional context**
Customer: Intuit (a high-priority issue blocking usage of SM serverless customization service).
Hướng dẫn đóng góp
Hướng nghiên cứu
Bắt đầu với đường dẫn tùy chỉnh serverless và so sánh cấu hình của nó với ví dụ JumpStartEstimator trong issue. Theo dõi cách tùy chỉnh GRPO xử lý các model Qwen và các hyperparameter max_input_length và max_total_tokens. Hoàn tất nghĩa là khách hàng có thể sử dụng các cài đặt đó cho độ dài ngữ cảnh lớn hơn 2048 token trong tùy chỉnh serverless của SM.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- aws, python
- Lĩnh vực
- cloud, machine-learning
- Loại issue
- Tính năng
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Ít trao đổi
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 45/100