操作系统及版本
openEuler, 24.03
安装工具的python环境
docker容器中的python环境
python版本
3.11
AISBench工具版本
3.1.20260630
AISBench执行命令
ais_bench \ --models vllm_api_general \ --custom-dataset-path /root/deepseek-v4-flash-9000-cache-2026-07-16-17-33-06_extracted.jsonl \ --custom-dataset-data-type qa \ --mode perf \ --num-prompts 1
模型配置文件或自定义配置文件内容
from ais_bench.benchmark.models import VLLMCustomAPIChat
models = [
dict(
attr="service",
type=VLLMCustomAPIChat,
abbr='vllm-api-general-chat',
path="/mnt/share/weight/1.6T", # 指定模型序列化词表文件绝对路径（精度测试场景一般不需要配置）
model="dsv", # 指定服务端已加载模型名称，依据实际VLLM推理服务拉取的模型名称配置（配置成空字符串会自动获取）
stream=False,
request_rate=0, # 请求发送频率，每1/request_rate秒发送1个请求给服务端，小于0.1则一次性发送所有请求
use_timestamp=False, # 是否按数据集中 timestamp 调度请求，适用于含 timestamp 的数据集（如 Mooncake Trace）
retry=2, # 每个请求最大重试次数
api_key="", # 自定义API key，默认是空字符串
host_ip=141.61.94.147, # 指定推理服务的IP
host_port=1999, # 指定推理服务的端口
url="", # 自定义访问推理服务的URL路径(当base url不是http://host_ip:host_port的组合时需要配置，配置后host_ip和host_port将被忽略)
max_out_len=512, # 推理服务输出的token的最大数量
batch_size=1, # 请求发送的最大并发数
trust_remote_code=False, # tokenizer是否信任远程代码，默认False;
generation_kwargs=dict( # 模型推理参数，参考VLLM文档配置，AISBench评测工具不做处理，在发送的请求中附带
temperature=0.01,
ignore_eos=True,
)
)
]
预期行为
No response
实际行为
非流式结果的测试指标包含TTFT，不包含TPOT。无法上传图片，以下为图片提取文字。
Performance Parameters Stage Average Min Max Median P75 P90 P99
E2EL total 15503.6 ms 7797.9 ms 23209.4 ms 15503.6 ms 19356.5 ms 21668.2 ms 23055.3 ms N
TTFT total 15503.6 ms 7797.9 ms 23209.4 ms 15503.6 ms 19356.5 ms 21668.2 ms 23055.3 ms N
InputTokens total 79055.5 22039.0 136072.0 79055.5 107563.75 124668.7 134931.67
OutputTokens total 177.5 100.0 255.0 177.5 216.25 239.5 253.45
OutputTokenTh roughput total 18.505 token/s 4.3086 token/s 32.7013 token/s 18.505 token/s 25.6031 token/s 29.862 token/s 32.4174 token/s
Common Metric Stage Value
Benchmark Duration totalee 31009.4483 ms
Total Requests totalne N
Failed Requests totalne 。
Success Requests totalne N
Concurrency total 0.9999
Max Concurrency total h
Request Throughput total 0.0645 req/s
Total Input Tokens totalne 158111
Prefill Token Throughput total 5099.1638 token/s
Total Generated Tokens total 355
Input Token Throughput total 5098.8008 token/s
Output Token Throughput total 11.4481 token/s
Total Token Throughput total 5110.2489 token/s
前置检查
操作系统及版本
openEuler, 24.03
安装工具的python环境
docker容器中的python环境
python版本
3.11
AISBench工具版本
3.1.20260630
AISBench执行命令
ais_bench \ --models vllm_api_general \ --custom-dataset-path /root/deepseek-v4-flash-9000-cache-2026-07-16-17-33-06_extracted.jsonl \ --custom-dataset-data-type qa \ --mode perf \ --num-prompts 1
模型配置文件或自定义配置文件内容
from ais_bench.benchmark.models import VLLMCustomAPIChat
models = [
dict(
attr="service",
type=VLLMCustomAPIChat,
abbr='vllm-api-general-chat',
path="/mnt/share/weight/1.6T", # 指定模型序列化词表文件绝对路径（精度测试场景一般不需要配置）
model="dsv", # 指定服务端已加载模型名称，依据实际VLLM推理服务拉取的模型名称配置（配置成空字符串会自动获取）
stream=False,
request_rate=0, # 请求发送频率，每1/request_rate秒发送1个请求给服务端，小于0.1则一次性发送所有请求
use_timestamp=False, # 是否按数据集中 timestamp 调度请求，适用于含 timestamp 的数据集（如 Mooncake Trace）
retry=2, # 每个请求最大重试次数
api_key="", # 自定义API key，默认是空字符串
host_ip=141.61.94.147, # 指定推理服务的IP
host_port=1999, # 指定推理服务的端口
url="", # 自定义访问推理服务的URL路径(当base url不是http://host_ip:host_port的组合时需要配置，配置后host_ip和host_port将被忽略)
max_out_len=512, # 推理服务输出的token的最大数量
batch_size=1, # 请求发送的最大并发数
trust_remote_code=False, # tokenizer是否信任远程代码，默认False;
generation_kwargs=dict( # 模型推理参数，参考VLLM文档配置，AISBench评测工具不做处理，在发送的请求中附带
temperature=0.01,
ignore_eos=True,
)
)
]
预期行为
No response
实际行为
非流式结果的测试指标包含TTFT，不包含TPOT。无法上传图片，以下为图片提取文字。
Performance Parameters Stage Average Min Max Median P75 P90 P99
E2EL total 15503.6 ms 7797.9 ms 23209.4 ms 15503.6 ms 19356.5 ms 21668.2 ms 23055.3 ms N
TTFT total 15503.6 ms 7797.9 ms 23209.4 ms 15503.6 ms 19356.5 ms 21668.2 ms 23055.3 ms N
InputTokens total 79055.5 22039.0 136072.0 79055.5 107563.75 124668.7 134931.67
OutputTokens total 177.5 100.0 255.0 177.5 216.25 239.5 253.45
OutputTokenTh roughput total 18.505 token/s 4.3086 token/s 32.7013 token/s 18.505 token/s 25.6031 token/s 29.862 token/s 32.4174 token/s
Common Metric Stage Value
Benchmark Duration totalee 31009.4483 ms
Total Requests totalne N
Failed Requests totalne 。
Success Requests totalne N
Concurrency total 0.9999
Max Concurrency total h
Request Throughput total 0.0645 req/s
Total Input Tokens totalne 158111
Prefill Token Throughput total 5099.1638 token/s
Total Generated Tokens total 355
Input Token Throughput total 5098.8008 token/s
Output Token Throughput total 11.4481 token/s
Total Token Throughput total 5110.2489 token/s
前置检查