aws / aws/sagemaker-python-sdk
Unable to increase context length in SM serverless customizations
- Vorherrschende Sprache
- Python
- Sterne
- 2.3k
- Forks
- 1.3k
- Ø Merge
- 1 T. 22 Std.
- Gemergte PRs (30 T.)
- 35
Beschreibung
**Describe the feature you'd like**
Currently customers cannot use GRPO for Qwen model customization for models using long context (more than 2048 tokens)
**How would this feature be used? Please describe.**
Should work similar to JumpStart training implementation:
estimator = JumpStartEstimator(
model_id="meta-textgeneration-llama-2-7b",
hyperparameters={
"max_input_length": "4096", # Update context length here
"max_total_tokens": "4096"
}
)
**Describe alternatives you've considered**
Using SM training jobs for GRPO training with recipes.
**Additional context**
Customer: Intuit (a high-priority issue blocking usage of SM serverless customization service).
Beitragsleitfaden
Rechercherichtung
Beginne mit dem Pfad für die serverlose Anpassung und vergleiche dessen Konfiguration mit dem JumpStartEstimator-Beispiel im Issue. Verfolge, wie die GRPO-Anpassung Qwen-Modelle sowie die Hyperparameter max_input_length und max_total_tokens verarbeitet. Als erledigt gilt die Aufgabe, wenn Kunden diese Einstellungen für Kontextlängen von mehr als 2048 Tokens in der serverlosen Anpassung von SM verwenden können.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- aws, python
- Bereich
- cloud, machine-learning
- Issue-Typ
- Feature
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Ruhig
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 45/100