github / github/app

Bug with sglang with how the tool call is passed

Aperta
#2,386 2 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Bugs
Lingua principale
Nessun dato sulla lingua
Stelle
2.1k
Fork
153
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

using custom model provider endpoint of hscn and compactation that was initialized by the model not user initilaized is failing .
Compaction failed. CAPIError: 400 2 validation errors:
{'type': 'literal_error', 'loc': ('body', 'tool_choice', 'ToolChoice', 'type'), 'msg': "Input should be 'function'", 'input': 'none', 'ctx': {'expected': "'function'"}}
{'type': 'literal_error', 'loc': ('body', 'tool_choice', "literal['auto','required','none']"), 'msg': "Input should be 'auto', 'required' or 'none'", 'input': {'function': {'name': ''}, 'type': 'none'}, 'ctx': {'expected': "'auto', 'required' or 'none'"}}

File "/usr/local/lib/python3.12/dist-packages/sglang/srt/entrypoints/http_server.py", line 1491, in openai_v1_chat_completions
POST /v1/chat/completions [{'type': 'literal_error', 'loc': ('body', 'tool_choice', 'ToolChoice', 'type'), 'msg': "Input should be 'function'", 'input': 'none', 'ctx': {'expected': "'function'"}}, {'type': 'literal_error', 'loc': ('body', 'tool_choice', "literal['auto','required','none']"), 'msg': "Input should be 'auto', 'required' or 'none'", 'input': {'function': {'name': ''}, 'type': 'none'}, 'ctx': {'expected': "'auto', 'required' or 'none'"}}]

but when i do /compact manually it works .
idk why .

---
| Field | Value |
| --- | --- |
| App version | 1.1.1 |
| OS | Windows 10.0.26200 |
| Theme | GitHub |
| Path | /chat |
| Tenure | Week 6 |

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Start with the reported /compact behavior and compare it with the failing model-initialized compaction request. Inspect sglang/srt/entrypoints/http_server.py at openai_v1_chat_completions and reproduce the 400 validation error using the custom hscn provider; done means model-initialized compaction passes a valid tool_choice while manual /compact continues to work.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python
Ambito
api, backend
Tipo di issue
Bug
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Tranquilla
Chiarezza
Da chiarire
Idoneità per principianti
38/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.