aws / aws/sagemaker-python-sdk
Unable to increase context length in SM serverless customizations
- 主要言語
- Python
- スター
- 2.3k
- フォーク
- 1.3k
- 平均マージ
- 1日 22時間
- マージ済み PR(30日)
- 35
説明
**Describe the feature you'd like**
Currently customers cannot use GRPO for Qwen model customization for models using long context (more than 2048 tokens)
**How would this feature be used? Please describe.**
Should work similar to JumpStart training implementation:
estimator = JumpStartEstimator(
model_id="meta-textgeneration-llama-2-7b",
hyperparameters={
"max_input_length": "4096", # Update context length here
"max_total_tokens": "4096"
}
)
**Describe alternatives you've considered**
Using SM training jobs for GRPO training with recipes.
**Additional context**
Customer: Intuit (a high-priority issue blocking usage of SM serverless customization service).
コントリビューションガイド
調査の方向性
serverless カスタマイズのパスから始め、その設定を issue の JumpStartEstimator の例と比較します。GRPO カスタマイズが Qwen モデルと、max_input_length および max_total_tokens ハイパーパラメーターをどのように処理するかを追跡します。SM serverless カスタマイズで、顧客が 2048 トークンを超えるコンテキスト長に対してそれらの設定を使用できれば完了です。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- aws, python
- 領域
- cloud, machine-learning
- issue の種類
- 機能追加
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 静か
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 45/100