InternLM / InternLM/lmdeploy

使用locust时发现的问题

Open
#417 1 comment 0 reactions 0 assignees View on GitHub
Dominant language
Python
Stars
8.1k
Forks
748
Avg merge
6d 2h
Merged PRs (30d)
54

Description

使用locust对openai api server进行测试。

发现一个现象:如果前一次压测开的并发度>1,然后结束。再开启一个新的压测,此时新的请求得不到处理,locust监控页面一直显示req=0。但此时手动post http请求是可以请求通的。

此时如果想停掉服务,会显示 Waiting for background tasks to complete. 无法正常停止服务。

Contributor guide

Open the contributing guide

Assessment

This issue has not been assessed yet.

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.