github / github/app

Bug with sglang with how the tool call is passed

Abierto
#2,386 2 comentarios 0 reacciones 0 asignados Ver en GitHub
Bugs
Lenguaje dominante
Sin datos de lenguaje
Estrellas
2.1k
Forks
153
Métricas de merge de PR
Sin PR fusionados en 30 d

Descripción

using custom model provider endpoint of hscn and compactation that was initialized by the model not user initilaized is failing .
Compaction failed. CAPIError: 400 2 validation errors:
{'type': 'literal_error', 'loc': ('body', 'tool_choice', 'ToolChoice', 'type'), 'msg': "Input should be 'function'", 'input': 'none', 'ctx': {'expected': "'function'"}}
{'type': 'literal_error', 'loc': ('body', 'tool_choice', "literal['auto','required','none']"), 'msg': "Input should be 'auto', 'required' or 'none'", 'input': {'function': {'name': ''}, 'type': 'none'}, 'ctx': {'expected': "'auto', 'required' or 'none'"}}

File "/usr/local/lib/python3.12/dist-packages/sglang/srt/entrypoints/http_server.py", line 1491, in openai_v1_chat_completions
POST /v1/chat/completions [{'type': 'literal_error', 'loc': ('body', 'tool_choice', 'ToolChoice', 'type'), 'msg': "Input should be 'function'", 'input': 'none', 'ctx': {'expected': "'function'"}}, {'type': 'literal_error', 'loc': ('body', 'tool_choice', "literal['auto','required','none']"), 'msg': "Input should be 'auto', 'required' or 'none'", 'input': {'function': {'name': ''}, 'type': 'none'}, 'ctx': {'expected': "'auto', 'required' or 'none'"}}]

but when i do /compact manually it works .
idk why .

---
| Field | Value |
| --- | --- |
| App version | 1.1.1 |
| OS | Windows 10.0.26200 |
| Theme | GitHub |
| Path | /chat |
| Tenure | Week 6 |

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

Comienza con el comportamiento reportado de /compact y compáralo con la solicitud de compactación inicializada por el modelo que falla. Inspecciona sglang/srt/entrypoints/http_server.py en openai_v1_chat_completions y reproduce el error de validación 400 usando el proveedor personalizado hscn; se considera terminado cuando la compactación inicializada por el modelo pasa un tool_choice válido, mientras que /compact manual sigue funcionando.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
python
Área
api, backend
Tipo de issue
Error
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Tranquilo
Claridad
Necesita aclaración
Aptitud para principiantes
38/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.