agentscope-ai / agentscope-ai/QwenPaw

[Question]: vllm部署qwen3.5-9B模型,前段页面不显示think后的内容

Ouverte
#2,897 7 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
question
Langage dominant
Python
Étoiles
34.9k
Forks
3.1k
Merge moyen
1 j 15 h
PR mergées (30 j)
225

Description

export CUDA_VISIBLE_DEVICES=6,7
export VLLM_USE_MODELSCOPE= False
export VLLM_ALLOW_LONG_MAX_MODEL_LEN=1
vllm serve Qwen3.5-9B \
--host 0.0.0.0 \
--port 20019 \
--tensor-parallel-size 2 \
--gpu-memory-utilization 0.95 \
--trust-remote-code \
--served-model-name qwen3.5 \
--reasoning-parser qwen3 \
--dtype float16 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--max-num-seqs 10 \

Guide de contribution

Ouvrir le guide de contribution

Évaluation

Cette issue n'a pas encore été évaluée.

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.