[Benchmark] benchmarks on different cuda architecture with models of various size

# 背景
我们发现绝大部分LLM推理引擎在报告推理性能的时候，都是关掉sampling功能的。但是在实际应用中，sampling几乎是必选项。为了给出尽可能贴近实际应用的benchmark，我们开了这个issue，报告 LMDeploy **在采样开启时**候的性能。
# 测试模型
1. llama2-7b
2. llama2-13b
3. internlm-20b
4. llama2-70b

# 测试设备

1. A100
模型计算精度：BF16（FP16)、W4A16、KV8
2. V100
模型计算精度：FP16
4. 4090
模型计算精度：W4A16
5. 3090
模型计算精度：W4A16
7. 2080
模型计算精度：W4A16
# 测量指标
1. 静态推理性能（out token/s）：在固定batch、输入输出 token 数的前提下，每秒产生的token数量
8. 每秒处理请求数量（request/s）：SharedGPT对话数据，不定长的 prompt 和 response。我们会测试 2 种接口：一种是 api_server 的 RESTful API，一种是 localhost 上的 Python API