InternLM / InternLM/Tutorial

请问lmdeploy如何在多卡部署

Abierto
#555 1 comentario 0 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
Python
Estrellas
2k
Forks
1.5k
Métricas de merge de PR
Sin PR fusionados en 30 d

Descripción

输入命令lmdeploy serve api_server后,默认是在单卡(0号卡)上部署,请问怎么实现在多卡上部署?

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Evaluación

Este issue todavía no se ha evaluado.

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.