aws / aws/sagemaker-python-sdk

Unable to increase context length in SM serverless customizations

オープン
#5,665 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
2.3k
フォーク
1.3k
平均マージ
1日 22時間
マージ済み PR(30日)
35

説明

**Describe the feature you'd like**
Currently customers cannot use GRPO for Qwen model customization for models using long context (more than 2048 tokens)

**How would this feature be used? Please describe.**
Should work similar to JumpStart training implementation:
estimator = JumpStartEstimator(
model_id="meta-textgeneration-llama-2-7b",
hyperparameters={
"max_input_length": "4096", # Update context length here
"max_total_tokens": "4096"
}
)

**Describe alternatives you've considered**
Using SM training jobs for GRPO training with recipes.

**Additional context**
Customer: Intuit (a high-priority issue blocking usage of SM serverless customization service).

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

serverless カスタマイズのパスから始め、その設定を issue の JumpStartEstimator の例と比較します。GRPO カスタマイズが Qwen モデルと、max_input_length および max_total_tokens ハイパーパラメーターをどのように処理するかを追跡します。SM serverless カスタマイズで、顧客が 2048 トークンを超えるコンテキスト長に対してそれらの設定を使用できれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
aws, python
領域
cloud, machine-learning
issue の種類
機能追加
難易度
4/5
見積もり時間
3〜5日
活発さ
静か
明瞭さ
おおむね明確
初心者へのやさしさ
45/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。