NVIDIA / NVIDIA/GenerativeAIExamples
Text appears and disappears when POD is launched with models larger than 10B
Nadie ha tomado este issue todavía.
- Lenguaje dominante
- Jupyter Notebook
- Estrellas
- 4.2k
- Forks
- 1.1k
- Merge medio
- 10 h 15 min
- PR fusionados (30 d)
- 1
Descripción
hello.
As the title says, when I use a model over 10B and reference it, the text comes up and then disappears.
I would appreciate your opinion on what could be the cause and how to fix it.
Thank you.
I'm also attaching the triton pod related error.
Received stop request for requestId 7796140 but it's not active (might be completed already).
Guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Línea de trabajo
No se identifica ningún archivo fuente, prueba ni punto de entrada. Empieza por reproducir el comportamiento con un modelo de más de 10B e inspeccionar el error del pod de Triton adjunto; después determina por qué desaparece el texto generado y verifica que la salida siga siendo visible después de la corrección.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Área
- ai, backend
- Tipo de issue
- Error
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Estancado
- Claridad
- Necesita aclaración
- Aptitud para principiantes
- 20/100