agentscope-ai / agentscope-ai/QwenPaw

[Question]: vllm部署qwen3.5-9B模型,前段页面不显示think后的内容

オープン
#2,897 コメント 7 件 リアクション 0 件 担当者 0 名 GitHub で見る
question
主要言語
TypeScript
スター
35k
フォーク
3.1k
平均マージ
1日 13時間
マージ済み PR(30日)
228

説明

export CUDA_VISIBLE_DEVICES=6,7
export VLLM_USE_MODELSCOPE= False
export VLLM_ALLOW_LONG_MAX_MODEL_LEN=1
vllm serve Qwen3.5-9B \
--host 0.0.0.0 \
--port 20019 \
--tensor-parallel-size 2 \
--gpu-memory-utilization 0.95 \
--trust-remote-code \
--served-model-name qwen3.5 \
--reasoning-parser qwen3 \
--dtype float16 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--max-num-seqs 10 \

コントリビューションガイド

コントリビューションガイドを開く

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。