aws / aws/sagemaker-python-sdk

Unable to increase context length in SM serverless customizations

Ouverte
#5,665 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Langage dominant
Python
Étoiles
2.3k
Forks
1.3k
Merge moyen
1 j 22 h
PR mergées (30 j)
35

Description

**Describe the feature you'd like**
Currently customers cannot use GRPO for Qwen model customization for models using long context (more than 2048 tokens)

**How would this feature be used? Please describe.**
Should work similar to JumpStart training implementation:
estimator = JumpStartEstimator(
model_id="meta-textgeneration-llama-2-7b",
hyperparameters={
"max_input_length": "4096", # Update context length here
"max_total_tokens": "4096"
}
)

**Describe alternatives you've considered**
Using SM training jobs for GRPO training with recipes.

**Additional context**
Customer: Intuit (a high-priority issue blocking usage of SM serverless customization service).

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

Commencez par le chemin de personnalisation serverless et comparez sa configuration avec l’exemple JumpStartEstimator présent dans l’issue. Suivez la manière dont la personnalisation GRPO gère les modèles Qwen ainsi que les hyperparamètres max_input_length et max_total_tokens. Le travail est terminé lorsque les clients peuvent utiliser ces paramètres pour des longueurs de contexte supérieures à 2048 tokens dans la personnalisation serverless de SM.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
aws, python
Domaine
cloud, machine-learning
Type d'issue
Fonctionnalité
Difficulté
4/5
Temps estimé
3-5 jours
Activité
Calme
Clarté
Plutôt claire
Accessibilité débutants
45/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.