aws / aws/sagemaker-python-sdk

Unable to increase context length in SM serverless customizations

Abierto
#5,665 0 comentarios 0 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
Python
Estrellas
2.3k
Forks
1.3k
Merge medio
1 d 22 h
PR fusionados (30 d)
35

Descripción

**Describe the feature you'd like**
Currently customers cannot use GRPO for Qwen model customization for models using long context (more than 2048 tokens)

**How would this feature be used? Please describe.**
Should work similar to JumpStart training implementation:
estimator = JumpStartEstimator(
model_id="meta-textgeneration-llama-2-7b",
hyperparameters={
"max_input_length": "4096", # Update context length here
"max_total_tokens": "4096"
}
)

**Describe alternatives you've considered**
Using SM training jobs for GRPO training with recipes.

**Additional context**
Customer: Intuit (a high-priority issue blocking usage of SM serverless customization service).

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

Comienza con la ruta de personalización serverless y compara su configuración con el ejemplo de JumpStartEstimator del issue. Sigue cómo la personalización de GRPO gestiona los modelos Qwen y los hiperparámetros max_input_length y max_total_tokens. Se considera terminado cuando los clientes pueden usar esos ajustes para longitudes de contexto superiores a 2048 tokens en la personalización serverless de SM.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
aws, python
Área
cloud, machine-learning
Tipo de issue
Nueva funcionalidad
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Tranquilo
Claridad
Bastante claro
Aptitud para principiantes
45/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.