音视频精度测试数据集

文件结构

data目录下为音视频源mp4文件，videobench中为记录qa对的json文件，该测试运行时会在/benchmark/ais_bench/videobench中的prompt json结构体中寻找视频路径，因此该data目录可放置在任意目录中，而该videobench目录需整体mv至/benchmark/ais_bench/datasets路径下。

Videobench
├──data                # 音视频源文件
└──videobench          # 问答QA对

使用方法

在拉起任务前，需要手动编辑videobench路径下的每一个json文件，对所有视频的路径进行手动指定，将mp4的路径替换为存放音视频源文件的路径。可以通过vim编辑器完成一键替换：

:%s/{需被替换的文本}/{替换文本}/g

需要为/增加反斜杠\进行转义。

例如，如果需要将/data/VedioBench/video/ActivityNet全量替换为/opt/data/verification/datasets/Video-Bench/data，则需在vim编辑器中键入如下命令：

:%s/\/data\/VedioBench\/video/\/opt\/data\/verification\/datasets\/Video-Bench\/data/g

按实际情况配置vllm_api_general_chat.py后执行如下命令即可拉起测试（注意此处需要正确配置任务为base64的，否则无法解析）：

nohup ais_bench --models vllm_api_general_chat --datasets videobench_gen_base64 --mode all --max-num-workers=4 >videobench_try2.log 2>&1 &

温馨提示：

1. 从拉起任务到服务端接收到请求会有数据文件的预处理，时间约为1.5h，请耐心等待，不要怀疑任务卡死而手动终止任务；
2. 数据预处理中会刷屏一些看起来是报错的内容mmco: unref short failure，这是正常的，且并没有真的发生Error，不要惊慌。