aws / aws/sagemaker-python-sdk
Unable to increase context length in SM serverless customizations
- Lenguaje dominante
- Python
- Estrellas
- 2.3k
- Forks
- 1.3k
- Merge medio
- 1 d 22 h
- PR fusionados (30 d)
- 35
Descripción
**Describe the feature you'd like**
Currently customers cannot use GRPO for Qwen model customization for models using long context (more than 2048 tokens)
**How would this feature be used? Please describe.**
Should work similar to JumpStart training implementation:
estimator = JumpStartEstimator(
model_id="meta-textgeneration-llama-2-7b",
hyperparameters={
"max_input_length": "4096", # Update context length here
"max_total_tokens": "4096"
}
)
**Describe alternatives you've considered**
Using SM training jobs for GRPO training with recipes.
**Additional context**
Customer: Intuit (a high-priority issue blocking usage of SM serverless customization service).
Guía de contribución
Línea de trabajo
Comienza con la ruta de personalización serverless y compara su configuración con el ejemplo de JumpStartEstimator del issue. Sigue cómo la personalización de GRPO gestiona los modelos Qwen y los hiperparámetros max_input_length y max_total_tokens. Se considera terminado cuando los clientes pueden usar esos ajustes para longitudes de contexto superiores a 2048 tokens en la personalización serverless de SM.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- aws, python
- Área
- cloud, machine-learning
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Tranquilo
- Claridad
- Bastante claro
- Aptitud para principiantes
- 45/100