操作系统及版本
Linux C04-B03-OS1 6.6.0-159.4.7.160.oe2403sp4.aarch64 #1 SMP Mon Jul 20 20:07:15 CST 2026 aarch64 aarch64 aarch64 GNU/Linux
安装工具的python环境
在anaconda/miniconda创建的python虚拟环境
python版本
3.11
AISBench工具版本
ais-bench-benchmark 3.1.20260630
AISBench执行命令
ais_bench --models vllm_api_stream_chat --datasets textvqa_gen --debug
模型配置文件或自定义配置文件内容
from ais_bench.benchmark.models import VLLMCustomAPIChat
from ais_bench.benchmark.utils.postprocess.model_postprocessors import extract_non_reasoning_content
models = [
dict(
attr="service",
type=VLLMCustomAPIChat,
abbr="vllm-api-stream-chat",
path="xx",
model="",
stream=False,
request_rate=0,
use_timestamp=False,
retry=2,
api_key="dummy",
host_ip="localhost",
host_port=8006,
url="",
max_out_len=10240,
batch_size=1024,
trust_remote_code=True,
generation_kwargs=dict(
temperature=0,
ignore_eos=False,
),
pred_postprocessor=dict(type=extract_non_reasoning_content),
)
]
预期行为
评测结果正常，图片正常输入模型，被模型查询到
实际行为
No such file or directory: 'textvqa/train_images/003a8ae2ef43b901.jpg'
将benchmark/configs/datasets/textvqa/textvqa_gen.py中的file://{image}修改为file://{实际的单张图片绝对路径}，则评测请求正常执行，是否为image渲染方式不对？
前置检查
操作系统及版本
Linux C04-B03-OS1 6.6.0-159.4.7.160.oe2403sp4.aarch64 #1 SMP Mon Jul 20 20:07:15 CST 2026 aarch64 aarch64 aarch64 GNU/Linux
安装工具的python环境
在anaconda/miniconda创建的python虚拟环境
python版本
3.11
AISBench工具版本
ais-bench-benchmark 3.1.20260630
AISBench执行命令
ais_bench --models vllm_api_stream_chat --datasets textvqa_gen --debug
模型配置文件或自定义配置文件内容
from ais_bench.benchmark.models import VLLMCustomAPIChat
from ais_bench.benchmark.utils.postprocess.model_postprocessors import extract_non_reasoning_content
models = [
dict(
attr="service",
type=VLLMCustomAPIChat,
abbr="vllm-api-stream-chat",
path="xx",
model="",
stream=False,
request_rate=0,
use_timestamp=False,
retry=2,
api_key="dummy",
host_ip="localhost",
host_port=8006,
url="",
max_out_len=10240,
batch_size=1024,
trust_remote_code=True,
generation_kwargs=dict(
temperature=0,
ignore_eos=False,
),
pred_postprocessor=dict(type=extract_non_reasoning_content),
)
]
预期行为
评测结果正常，图片正常输入模型，被模型查询到
实际行为
No such file or directory: 'textvqa/train_images/003a8ae2ef43b901.jpg'
将benchmark/configs/datasets/textvqa/textvqa_gen.py中的file://{image}修改为file://{实际的单张图片绝对路径}，则评测请求正常执行，是否为image渲染方式不对？
前置检查