Bug with sglang with how the tool call is passed
- Lenguaje dominante
- Sin datos de lenguaje
- Estrellas
- 2.1k
- Forks
- 153
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Descripción
using custom model provider endpoint of hscn and compactation that was initialized by the model not user initilaized is failing .
Compaction failed. CAPIError: 400 2 validation errors:
{'type': 'literal_error', 'loc': ('body', 'tool_choice', 'ToolChoice', 'type'), 'msg': "Input should be 'function'", 'input': 'none', 'ctx': {'expected': "'function'"}}
{'type': 'literal_error', 'loc': ('body', 'tool_choice', "literal['auto','required','none']"), 'msg': "Input should be 'auto', 'required' or 'none'", 'input': {'function': {'name': ''}, 'type': 'none'}, 'ctx': {'expected': "'auto', 'required' or 'none'"}}
File "/usr/local/lib/python3.12/dist-packages/sglang/srt/entrypoints/http_server.py", line 1491, in openai_v1_chat_completions
POST /v1/chat/completions [{'type': 'literal_error', 'loc': ('body', 'tool_choice', 'ToolChoice', 'type'), 'msg': "Input should be 'function'", 'input': 'none', 'ctx': {'expected': "'function'"}}, {'type': 'literal_error', 'loc': ('body', 'tool_choice', "literal['auto','required','none']"), 'msg': "Input should be 'auto', 'required' or 'none'", 'input': {'function': {'name': ''}, 'type': 'none'}, 'ctx': {'expected': "'auto', 'required' or 'none'"}}]
but when i do /compact manually it works .
idk why .
---
| Field | Value |
| --- | --- |
| App version | 1.1.1 |
| OS | Windows 10.0.26200 |
| Theme | GitHub |
| Path | /chat |
| Tenure | Week 6 |
Guía de contribución
Línea de trabajo
Comienza con el comportamiento reportado de /compact y compáralo con la solicitud de compactación inicializada por el modelo que falla. Inspecciona sglang/srt/entrypoints/http_server.py en openai_v1_chat_completions y reproduce el error de validación 400 usando el proveedor personalizado hscn; se considera terminado cuando la compactación inicializada por el modelo pasa un tool_choice válido, mientras que /compact manual sigue funcionando.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- python
- Área
- api, backend
- Tipo de issue
- Error
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Tranquilo
- Claridad
- Necesita aclaración
- Aptitud para principiantes
- 38/100