kvcache-ai / kvcache-ai/ktransformers

[Bug] Ktransformers运行deepseek-v3后自动掉线

Open
#1,416 11 comments 0 reactions 0 assignees View on GitHub
Dominant language
Python
Stars
19.5k
Forks
1.6k
Avg merge
19h 32m
Merged PRs (30d)
27

Description

### 检查清单

- [ ] 1. 我已经搜索过相关问题,但未能获得预期的帮助
- [ ] 2. 该问题在最新版本中尚未修复
- [ ] 3. 请注意,如果您提交的BUG相关 issue 缺少对应环境信息和最小可复现示例,我们将难以复现和定位问题,降低获得反馈的可能性
- [ ] 4. 如果您提出的不是bug而是问题,请在讨论区发起讨论 https://github.com/kvcache-ai/ktransformers/discussions。否则该 issue 将被关闭
- [ ] 5. 为方便社区交流,我将使用中文/英文或附上中文/英文翻译(如使用其他语言)。未附带翻译的非中文/英语内容可能会被关闭

### 问题描述

nohup /opt/conda/bin/ktransformers --model_path /data/Deepseek-V3-0324-Lite-Chat --gguf_path /data/DeepSeek-V3-0324-Q4_K_M/ --max_new_token=8000 --cache_lens 32768 --chunk_size 256 --cpu_infer=46 --max_batch_size 5 --port 10022 --backend_type balance_serve> kt.log 2>&1 &

这是我使用ktransformers框架部署deepseek-v3模型的命令,最开始启动的时候可以正常收到请求,但是当没有请求一会儿之后模型就自动掉线了,但是查看Ktransformer的进程还在,只是占用内存从400多G变成了20多G,发起请求后也没有相关日志,这是什么原因

### 复现步骤

nohup /opt/conda/bin/ktransformers --model_path /data/Deepseek-V3-0324-Lite-Chat --gguf_path /data/DeepSeek-V3-0324-Q4_K_M/ --max_new_token=8000 --cache_lens 32768 --chunk_size 256 --cpu_infer=46 --max_batch_size 5 --port 10022 --backend_type balance_serve> kt.log 2>&1 &

这是我使用ktransformers框架部署deepseek-v3模型的命令,最开始启动的时候可以正常收到请求,但是当没有请求一会儿之后模型就自动掉线了,但是查看Ktransformer的进程还在,只是占用内存从400多G变成了20多G,发起请求后也没有相关日志,这是什么原因

### 环境信息

GPU: L40
CPU:Intel(R) Xeon(R) Gold 5418Y
操作系统:Ktransformer镜像容器0.2.4,Ubuntu系统。
内存:640G

Contributor guide

Open the contributing guide

Research direction

Start by reproducing the reported nohup ktransformers command with the DeepSeek-V3 model and the listed container, Ubuntu, CPU, GPU, and memory setup. Inspect kt.log and the process memory before and after an idle period, then check whether a request still reaches the service. Done means identifying why memory drops from over 400G to about 20G and why subsequent requests produce no logs.

Written by the indexing model from the issue text.

Assessment

Tech stack
python
Domain
backend, machine-learning
Issue type
Bug
Difficulty
4/5
Estimated time
3-5 days
Activity status
Stale
Clarity
Needs clarification
Newbie friendliness
28/100

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.