aws / aws/sagemaker-python-sdk
Unable to increase context length in SM serverless customizations
- Langage dominant
- Python
- Étoiles
- 2.3k
- Forks
- 1.3k
- Merge moyen
- 1 j 22 h
- PR mergées (30 j)
- 35
Description
**Describe the feature you'd like**
Currently customers cannot use GRPO for Qwen model customization for models using long context (more than 2048 tokens)
**How would this feature be used? Please describe.**
Should work similar to JumpStart training implementation:
estimator = JumpStartEstimator(
model_id="meta-textgeneration-llama-2-7b",
hyperparameters={
"max_input_length": "4096", # Update context length here
"max_total_tokens": "4096"
}
)
**Describe alternatives you've considered**
Using SM training jobs for GRPO training with recipes.
**Additional context**
Customer: Intuit (a high-priority issue blocking usage of SM serverless customization service).
Guide de contribution
Ouvrir le guide de contribution
Piste de recherche
Commencez par le chemin de personnalisation serverless et comparez sa configuration avec l’exemple JumpStartEstimator présent dans l’issue. Suivez la manière dont la personnalisation GRPO gère les modèles Qwen ainsi que les hyperparamètres max_input_length et max_total_tokens. Le travail est terminé lorsque les clients peuvent utiliser ces paramètres pour des longueurs de contexte supérieures à 2048 tokens dans la personnalisation serverless de SM.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- aws, python
- Domaine
- cloud, machine-learning
- Type d'issue
- Fonctionnalité
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Activité
- Calme
- Clarté
- Plutôt claire
- Accessibilité débutants
- 45/100