f
fbybl/VisualQuality-R1-7B
模型介绍
文件和版本
Pull Requests
讨论
分析

VisualQuality-R1-7B:昇腾 NPU 上的图像质量打分模型

1. 这是什么模型

一句话:给一张图,它告诉你这图质量打几分(1~5 分,带两位小数),还能解释为什么这么打。这是 TianheWu 团队用 RL2R 方式训练的无参考图像质量评估(NR-IQA)模型,论文中了 NeurIPS 2025 的 spotlight。

背后其实是个 Qwen2.5-VL-7B-Instruct 的多模态大模型(Qwen2_5_VLForConditionalGeneration),语言部分 28 层、hidden 3584、GQA(28 头/4 KV 头)、词表 152064,外加一套 1280 维的 ViT 视觉编码器(patch 14)。权重是 bf16,一共 4 个 safetensors 分片,加起来约 16.6GB。MIT 协议,随便用。

打分的提示词是固定的,官方给的两套:

  • 非思考模式:{Question} Please only output the final answer with only one score in <answer> </answer> tags.,只回一个 <answer>4.12</answer> 这样的分数
  • 思考模式:先 <think>...</think> 推理,再 <answer>...</answer> 给分

这个模型直接拿来做推理比用 CUDA 那套环境省事,昇腾上跑只需要 vLLM-Ascend 就行,下面是我的实测过程。

2. 用啥环境跑的

实测环境,直接抄:

  • 硬件:Ascend 910B,单卡就够(64GB HBM)
  • 系统 + 框架:openEuler aarch64 / CANN 8.5.1 / Python 3.11.14
  • 依赖:torch 2.9.0+cpu、torch_npu 2.9.0.post1、vllm 0.18.0、vllm-ascend 0.18.0、transformers 4.57.6、openai 2.24.0

权重是从 GitCode 的 HF 镜像拉的(gitcode.com/hf_mirrors/TianheWu/VisualQuality-R1-7B.git),跟 HuggingFace 一份文件,config.json、tokenizer.json、preprocessor_config.json、chat_template.json、4 个 model-*.safetensors 都有。国内网络环境拉 HF 直连会超时,走 GitCode 镜像稳。

3. 咋把服务拉起来

用仓库里的 inference.py,最省事:

python3 inference.py --mode serve \
  --devices 0 --port 8016 \
  --max-model-len 32768 --gpu-memory-utilization 0.85

背后等价于这条 vllm serve:

export ASCEND_RT_VISIBLE_DEVICES=0
vllm serve /path/to/VisualQuality-R1-7B \
  --served-model-name TianheWu/VisualQuality-R1-7B \
  --dtype bfloat16 --tensor-parallel-size 1 \
  --max-model-len 32768 --gpu-memory-utilization 0.85 \
  --host 0.0.0.0 --port 8016

几个注意点:

  • 单卡跑 7B 很轻松,--tensor-parallel-size 1 就行;想上 2 卡把 --devices 改成 0,1
  • 精度必须 bfloat16,跟权重一致
  • 有个大坑:得用 vllm serve 这个命令,别用 python3 -m vllm.entrypoints.openai.api_server。后者不会把位置参数解析进 model 字段,会偷偷回落成默认的 Qwen/Qwen3-0.6B,然后跑去 huggingface.co 下载,等你半天超时。我一开始就踩了这个,换成 vllm serve 立刻好

4. 冒烟验证

起来之后先看一眼:

curl -s http://127.0.0.1:8016/v1/models

能看到 TianheWu/VisualQuality-R1-7B 就对了。然后发一张图的请求试试:

curl -s http://127.0.0.1:8016/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "TianheWu/VisualQuality-R1-7B",
    "messages": [{"role":"user","content":[
      {"type":"image_url","image_url":{"url":"data:image/png;base64,..."}},
      {"type":"text","text":"What is your overall rating on the quality of this picture? Please only output the final answer with only one score in <answer> </answer> tags."}
    ]}],
    "max_tokens": 64, "temperature": 0.1
  }'

返回里 message.content 会带 <answer>3.xx</answer> 这种评分,usage 里有 prompt/completion token 数。

5. 性能咋样

单卡 910B 上跑的实际数字,直接说结论:

  • 权重加载:4 个分片一共花了 34 秒,bf16 占 15.6GB
  • 从敲命令到能收请求(含第一次的图编译):约 2 分钟
  • 打一张图(非思考,只回分数):0.23~0.42 秒,很跟手
  • 走思考模式(先推理再给分,88 个 token):1.86 秒
  • 并发压测(4 并发 × 20 个请求):2.0 请求/秒,22 token/秒,单请求平均 502ms
  • 显存:服务驻留 HBM 占 51.7GB / 64GB,vLLM 引擎进程 48.4GB
  • 压测的时候整卡功耗从空载的 170W 飙到 276W

有个小坑说一下:npu-smi 默认 2 秒采样一次,但单次打分就几百毫秒,所以 AICore 的瞬时峰值很难被抓到。功耗上升就能说明推理在干活了,别纠结那个 0%。

6. 打分准不准

用 4 张我自己生成的测试图(512×512)跑了非思考模式,temperature=0.1:

图片特点得分
clean_1.png清晰高对比图形3.50
blurred_1.png高斯模糊 120.50
noisy_1.png高斯噪声 σ=601.00
compressed_1.jpgJPEG quality=10 压缩3.50

分数把质量档次拉得很开:清晰的 3.50、模糊的 0.50、加噪的 1.00,能明显分开。压缩图主体还算清楚所以给了 3.50。输出格式稳定在 <answer>X.XX</answer>,没跑偏。

另外试了思考模式:模型先写"图像清晰、轮廓分明、没有可见伪影"再给 <answer>3.80</answer>,跟直出的 3.50 同个区间,说明思考和直出结果是一致的。分数小数点差一点属于采样随机,不影响排序。

7. 踩过的坑

  • 上面说的 vllm serve 跟 api_server 的坑,最容易中招;
  • 环境连不上 huggingface.co,一定要加 HF_HUB_OFFLINE=1 TRANSFORMERS_OFFLINE=1,不然启动阶段卡在网络重试上;
  • 首次启动要编译 ACL Graph + torch.compile,日志里出现 Application startup complete. 才算真起来,别急着发请求;
  • 提示词别自己乱改,官方模板是训练对齐过的,改一个词都可能让分飘出 1~5 区间;
  • 图片别整太大,512×512 这种就够,太大视觉 token 一堆,prefill 变慢;
  • 多卡碰到 FFTS+ 通信告警就 HCCL_OP_EXPANSION_MODE=AIV。