agentscope-ai / agentscope-ai/AgentTeams

本地vllm启动的模型,长度超限 || The model started by local vllm has a length exceeding the limit.

Offen
#346 3 Kommentare 0 Reaktionen 1 zugewiesene Person Beansprucht von @qiacheng7 Auf GitHub ansehen
area:model-higress
Vorherrschende Sprache
Go
Sterne
5.6k
Forks
692
Ø Merge
5 T. 4 Std.
Gemergte PRs (30 T.)
23

Beschreibung

400 You passed 74655 input characters and requested 32000 output tokens. However, the model's context length is only 32000 tokens, resulting in a maximum input length of 0 tokens (at most 0 characters). Please reduce the length of the input prompt. (parameter=input_text, value=74655)

1. 本地vllm启动的模型。配置了32K长度,openAI->自定义服务->url方式配置
2. windows10 docker部署。
3. 就问了一句你好 就提示超长了。

---
400 You passed 74655 input characters and requested 32000 output tokens. However, the model's context length is only 32000 tokens, resulting in a maximum input length of 0 tokens (at most 0 characters). Please reduce the length of the input prompt. (parameter=input_text, value=74655)

1. Local vllm startup model. 32K length is configured, openAI->custom service->url configuration
2. windows10 docker deployment.
3. I just asked hello and the prompt was too long.

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.