Ascend-SACT/JEV-27B-VL
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

引言

JEV-27B-VL 是 AutoTrust 开源的多模态决策模型,骨干为 Qwen3.5-27B 混合架构(64 层中 48 层 Gated DeltaNet 线性注意力、16 层标准注意力),带 SigLIP 风格视觉塔。提供两种能力:

  • System 1:单次前向返回每个选项的校准概率(yes/no、2~256 选一、0-5 打分),支持图像输入;
  • System 2:基座原生多模态对话。

本文是在昇腾 910B3 上部署该模型的完整过程:下载权重 → 合并决策头 LoRA → W8A8 量化 → 启动服务 → 验证与调用。全部命令使用固定路径,可从上到下依次执行。

目录约定:模型与运行脚本统一放在 /workspace/jev_models;本仓库检出到 /workspace/JEV-27B-VL,§4 的示例图 assets/photo.jpg、§5 的评估脚本 tools/eval_testset.py 均在该目录下。


一、环境准备

1、版本配套表

配套版本
Python3.12(容器内置)
驱动25.5.6
容器镜像vllm-ascend 官方 v0.26.0rc1(内含 torch 2.10.0+cpu、torch_npu 2.10.0.post4、vLLM 0.26.0、vllm-ascend 0.26.0rc1、triton_ascend 3.2.2、transformers 5.14.1)
量化工具msmodelslim 26.1.0
JEV-27B-VL 权重modelscope autotrust/JEV-27B-VL

整机:8 × 910B3(64GB HBM)。本文全部流程单卡完成,卡号由 ASCEND_RT_VISIBLE_DEVICES 指定。

2、容器部署

export IMAGE=quay.nju.edu.cn/ascend/vllm-ascend:v0.26.0rc1

docker run \
--name jev \
--privileged \
--net=host \
--shm-size=1g \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /etc/hccn.conf:/etc/hccn.conf \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /root/.cache:/root/.cache \
-it $IMAGE bash

容器启动后即进入容器内的 bash,后续各节均在容器中执行。确认 NPU 可见:

npu-smi info

预期:8 张 910B3,Health 均为 OK,各卡 HBM 仅基础占用(约 3.4GB/65536MB),Process 列表为空。

3、检出本仓库

本文后续引用的示例图(§4)与评估脚本(§5)随本仓库发布:

cd /workspace
git clone https://atomgit.com/Ascend-SACT/JEV-27B-VL.git

检出后目录为 /workspace/JEV-27B-VL。若客户侧无法直连该地址,从其他渠道取得本仓库后放到同一路径即可。

仓库另含 patches/01_qwen3_5_embedding_modules.patch(为 vLLM 的 qwen3_5 补 embedding_modules,使 lm_head LoRA 可通过校验)。本文流程不使用运行时 LoRA,该补丁非必需;仅在改用 bf16 + 运行时 LoRA 部署时才需要。


二、模型准备

1、下载权重

pip install modelscope accelerate peft msmodelslim==26.1.0
mkdir -p /workspace/jev_models
modelscope download --model autotrust/JEV-27B-VL \
  --local_dir /workspace/jev_models/JEV-27B-VL

下载约 55GB(18 个分片 + adapter_vllm/ 决策头适配器)。

2、合并决策头 LoRA

System 1 的能力来自随权重发布的 451MB LoRA 适配器。运行时挂载 LoRA 会让模型的 64 层每步都走一遍 LoRA 旁路,实测单次决策 1527ms;合并进基座后降至约 350ms。后续量化也以合并后的模型为输入。

cat > /workspace/jev_models/merge_lora.py << 'PYEOF'
import os, shutil, torch
from transformers import Qwen3_5ForConditionalGeneration
from peft import PeftModel

BF16 = "/workspace/jev_models/JEV-27B-VL"
ADAPTER = "/workspace/jev_models/JEV-27B-VL/adapter_vllm"
OUT = "/workspace/jev_models/JEV-27B-VL-merged"

base = Qwen3_5ForConditionalGeneration.from_pretrained(BF16, dtype=torch.bfloat16)
model = PeftModel.from_pretrained(base, ADAPTER).merge_and_unload()
model.save_pretrained(OUT, safe_serialization=True)
for f in ["tokenizer.json", "tokenizer_config.json", "vocab.json", "merges.txt",
          "preprocessor_config.json", "video_preprocessor_config.json", "chat_template.jinja"]:
    src = os.path.join(BF16, f)
    if os.path.exists(src):
        shutil.copy(src, os.path.join(OUT, f))
print("merged 模型已保存:", OUT)
PYEOF
python3 /workspace/jev_models/merge_lora.py

3、W8A8 量化

量化合并后的模型:权重由 51.75GB 降至 29.95GB,System 2 decode 提升 2.4 倍,并使单卡可开满模型原生 262,144 token(256K)上下文。

量化配置(放在纯英文路径下——msmodelslim 的安全检查会拒绝含中文的路径):

mkdir -p /workspace/jev_models/quant_cfg
cat > /workspace/jev_models/quant_cfg/jev27b_w8a8.yaml << 'EOF'
apiversion: multimodal_vlm_modelslim_v1
metadata:
  config_id: jev27b_w8a8
  score: 90
  label:
    w_bit: 8
    a_bit: 8
    is_sparse: False
    kv_cache: False

default_w8a8_dynamic: &default_w8a8_dynamic
  act:
    scope: "per_token"
    dtype: "int8"
    symmetric: True
    method: "minmax"
  weight:
    scope: "per_channel"
    dtype: "int8"
    symmetric: True
    method: "minmax"

spec:
  process:
    - type: "group"
      configs:
        - type: "linear_quant"
          qconfig: *default_w8a8_dynamic
          include:
            - "*self_attn.q_proj*"
            - "*self_attn.k_proj*"
            - "*self_attn.v_proj*"
            - "*visual.blocks*"
          exclude:
            - "mtp*"
        - type: "linear_quant"
          qconfig: *default_w8a8_dynamic
          include:
            - "*mlp.gate_proj*"
            - "*mlp.up_proj*"
            - "*mlp.down_proj*"
          exclude:
            - "mtp*"
        - type: "linear_quant"
          qconfig: *default_w8a8_dynamic
          include:
            - "*linear_attn.in_proj_qkv*"
            - "*linear_attn.in_proj_z*"
          exclude:
            - "mtp*"
  save:
    - type: "ascendv1_saver"
      part_file_size: 4
  dataset: "calibImages"
  default_text: "Describe this image in detail."
EOF

配置说明:量化 MLP(占参数 63%)、full-attn 的 qkv、GDN 的 in_proj_qkv/in_proj_z 与视觉塔;排除 lm_head(System 1 的校准依赖其精细 logit 差)、GDN 的 out_proj 与 in_proj_b/a(小维度)、MTP 与 conv1d。

执行量化:

export ASCEND_RT_VISIBLE_DEVICES=0
msmodelslim quant \
  --model_type "Qwen3.5-397B-A17B" \
  --model_path /workspace/jev_models/JEV-27B-VL-merged \
  --save_path /workspace/jev_models/JEV-27B-VL-w8a8 \
  --config_path /workspace/jev_models/quant_cfg/jev27b_w8a8.yaml \
  --device npu

预期:约 6~15 分钟完成,末尾输出 ===========SUCCESS===========,产物约 30GB(quant_model_weights-*.safetensors 分片 + quant_model_description.json,分片数以 quant_model_weights.safetensors.index.json 中的清单为准)。


三、启动与验证

1、启动服务

export ASCEND_RT_VISIBLE_DEVICES=0
nohup vllm serve /workspace/jev_models/JEV-27B-VL-w8a8 \
  --served-model-name autotrust/JEV-27B-VL \
  --tensor-parallel-size 1 \
  --max-model-len 262144 \
  --quantization ascend \
  --enable-prefix-caching \
  --logprobs-mode processed_logprobs \
  --limit-mm-per-prompt '{"image": 8}' \
  --max-num-seqs 32 \
  --trust-request-chat-template \
  --compilation-config '{"cudagraph_capture_sizes":[1,2,4,8,16,32,64,128,256],"max_cudagraph_capture_size":256}' \
  --port 8000 > /workspace/jev_models/serve.log 2>&1 &

READY=0
for i in $(seq 1 40); do
  sleep 15
  # 双条件:日志出现启动完成 + /v1/models 的 root 指向本次模型路径
  if grep -q "Application startup complete" /workspace/jev_models/serve.log 2>/dev/null &&
     curl -s --max-time 5 http://127.0.0.1:8000/v1/models | grep -q "/workspace/jev_models/JEV-27B-VL-w8a8"; then
    echo "SERVER READY"; READY=1; break
  fi
done
[ "$READY" = 1 ] || echo "!! 服务未就绪,请查看 /workspace/jev_models/serve.log(常见原因:端口被占用、指定卡显存不足)"

就绪判据必须能区分“是不是本服务”:只判断 curl /v1/models 是否成功时,若该端口上已有其他服务(他人部署的同名模型,或自己上一次未清理干净的实例),即使本服务已因端口冲突退出,循环也会立刻打印 SERVER READY,后续验证会全部打到别的服务上。因此这里用「日志出现 Application startup complete」+「/v1/models 的 root 指向本次模型路径」双条件,40 次仍不就绪时给出提示。

关键参数:

参数作用
--quantization ascend加载 W8A8 量化权重(必需)
--max-model-len 262144放开到模型原生最大上下文(256K)
--enable-prefix-caching相同长前缀可复用,降低重复长文开销
--max-num-seqs 32批处理上限;批量场景决定吞吐,见第五节
--compilation-config扩大图捕获尺寸;默认仅 [1,2,4,8] 覆盖不到约 50 token 的决策 prompt,该步只能走 eager 下发。扩到 256 后决策延迟 329ms → 232ms

启动日志预期(节选):

(EngineCore pid=xxxx) INFO ... [model_runner_v1.py:3710] Loading model weights took 29.9483 GB
(EngineCore pid=xxxx) INFO ... [worker.py:598] Available KV cache memory: 23.20 GiB
(APIServer pid=xxxx) INFO:     Application startup complete.

2、服务验证

curl -s http://127.0.0.1:8000/v1/models

预期返回 {"object":"list","data":[{"id":"autotrust/JEV-27B-VL", ...}]}。

一次文本对话:

curl -s http://127.0.0.1:8000/v1/chat/completions \
  -H 'Content-Type: application/json' -d '{
  "model": "autotrust/JEV-27B-VL",
  "messages": [{"role": "user", "content": "用一句话说明昇腾 NPU 的特点。"}],
  "max_tokens": 64, "temperature": 0,
  "chat_template_kwargs": {"enable_thinking": false}}'

四、接口调用

1、System 2:多模态对话

文本用标准 messages;图像以 image_url 传 base64 data URL:

import base64, requests

# 示例图随仓库发布,位于 assets/photo.jpg(红圆、蓝方、绿三角)
with open("/workspace/JEV-27B-VL/assets/photo.jpg", "rb") as f:
    data_url = "data:image/jpeg;base64," + base64.b64encode(f.read()).decode()

r = requests.post("http://127.0.0.1:8000/v1/chat/completions", json={
    "model": "autotrust/JEV-27B-VL",
    "messages": [{"role": "user", "content": [
        {"type": "image_url", "image_url": {"url": data_url}},
        {"type": "text", "text": "图中有几种形状?分别是什么颜色?"}]}],
    "max_tokens": 128, "temperature": 0,
    "chat_template_kwargs": {"enable_thinking": False}})
print(r.json()["choices"][0]["message"]["content"])

2、System 1:类型化决策(校准概率)

System 1 不生成文本,一次前向返回每个选项的校准概率。调用需三步:构造裸决策模板 → 用 logprob_token_ids 直读决策词 logprob → 套用 decision head 的 bias/temperature 校正。

import json, math, requests

BASE = "http://127.0.0.1:8000"
# 校正参数随权重发布,位于 adapter_vllm/ 与模型根目录
DH = json.load(open("/workspace/jev_models/JEV-27B-VL/adapter_vllm/decision_head.json"))
CAL = json.load(open("/workspace/jev_models/JEV-27B-VL/calibration.json"))

RAW = ("{%- for m in messages -%}{%- for c in m['content'] -%}{%- if c['type'] == 'text' -%}{{ c['text'] }}"
       "{%- else -%}<|vision_start|><|image_pad|><|vision_end|>{%- endif -%}{%- endfor -%}{%- endfor -%}")

def decide(kind, state, question, options=None):
    if options is None:
        options = {"noul": ["false", "true"], "score": [str(i) for i in range(6)]}[kind]
    lines = options if kind != "choice" else [f"{'ABCDEFGHIJKLMNOP'[i]}) {o}" for i, o in enumerate(options)]
    lo = DH["slots"]["ranges"][kind][0]
    ids = DH["verbalizer_ids"][lo:lo + len(options)]
    # state 为字符串时按纯文本拼接;为列表(图文混排)时按位置展开进 content
    if isinstance(state, list):
        content = [{"type": "text", "text": f"[kind] {kind}\n[state] "}] + state
    else:
        content = [{"type": "text", "text": f"[kind] {kind}\n[state] {state}"}]
    content.append({"type": "text",
                    "text": f"\n[question] {question}\n[options]\n" + "\n".join(lines) + "\n[decision]:"})
    r = requests.post(f"{BASE}/v1/chat/completions", json={
        "model": "autotrust/JEV-27B-VL",
        "messages": [{"role": "user", "content": content}],
        "chat_template": RAW, "add_generation_prompt": False, "add_special_tokens": False,
        "max_tokens": 1, "temperature": 1.0, "top_k": 0, "top_p": 1.0,
        "logprobs": True, "top_logprobs": 0,        # 必须为 0:不按概率截断
        "logprob_token_ids": ids,                    # 直接指定要读的决策词
        "allowed_token_ids": ids, "return_tokens_as_token_ids": True}, timeout=300)
    top = r.json()["choices"][0]["logprobs"]["content"][0]["top_logprobs"]
    lp = {int(t["token"].split(":")[1]): t["logprob"] for t in top}
    z = [(lp.get(t, -1e9) + DH["bias"][lo + i]) / CAL["per_kind"][kind] for i, t in enumerate(ids)]
    e = [math.exp(x - max(z)) for x in z]
    s = sum(e)
    return dict(zip(options, [x / s for x in e]))

print(decide("choice",
             "Customer: my card was charged twice for one coffee.",
             "Which team should handle this?",
             ["billing", "shipping", "tech support"]))
# 预期:{'billing': 0.9958, 'shipping': 0.0, 'tech support': 0.0042}
# (官方 GPU 参考:[0.9969, 0.0000, 0.0031])

三种决策类型:

kindoptions用途
noul["false", "true"]是非判定
score["0"..."5"]0–5 打分
choice自定义 2–256 项多选一

图像决策:把 state 换成列表,图像与文本按位置混排:

state = ["Photo: ", {"type": "image_url", "image_url": {"url": data_url}}]
print(decide("noul", state, "这张图里是否包含人物?"))

协议要点(违反会得到错误概率且不报错):

  1. 用 logprob_token_ids 直读决策词,top_logprobs 设为 0。决策词的绝对概率很低(如 0.46/0.54 的行 logprob ≈ −9.5),常不在默认 top-N 内;按概率截断会把缺失项当极低概率,使分布退化成 0/1。
  2. 传 top_k: 0, top_p: 1.0。模型 generation_config.json 默认 top_k=20, top_p=0.95,会截断概率。
  3. 传裸决策模板 chat_template 并设 add_generation_prompt: false。decision head 是在该格式上校准的。
  4. 套用 decision_head.json 与 calibration.json 的 bias/temperature 校正。
  5. 服务端需 --trust-request-chat-template(本文启动命令已含)。

3、长上下文

document.txt 为任意长文;下面生成一份与下表长度对应的文档(示例段落固定 34 token,重复次数 × 34 即文档长度):

python3 -c "print('这是一份用于验证长上下文能力的测试文档。文档由重复的示例段落构成,内容本身无实际含义,仅用于测量长 prompt 下的决策延迟。' * 1178)" > /workspace/jev_models/document.txt
long_text = open("/workspace/jev_models/document.txt").read()
print(decide("noul", long_text, "这份文档是否包含安全风险?"))
prompt 长度单次决策耗时(实测)
40,048 tokens11.1 s
120,052 tokens45.1 s
235,052 tokens128.9 s

上表三档分别对应重复 1178、3531、6913 次。

延迟约等于 prefill 时间,随长度近似线性(约 0.55 s/千 token)。已开启 prefix-caching:多个请求共享同一段长前缀(如对同一份文档提多个问题)时后续请求可显著加速。


五、性能与精度

1、性能实测

单卡 910B3,量化合并形态:

指标实测
System 1 决策端到端(单次,串行)232 ms
System 2 文本 decode约 36 ms/token
最大上下文262,144 tokens(256K)
并发吞吐(c=32)47.2 决策/s

各优化项的实测效果:

优化效果
合并 LoRA 进基座决策 1527 ms → 350 ms
W8A8 量化权重 51.75 → 29.95 GB;decode 2.4×;上下文 12,288 → 262,144(21×)
扩大图捕获尺寸(--compilation-config)决策 329 ms → 232 ms
批处理(--max-num-seqs 8 → 32)吞吐 11.9 → 47.2 决策/s(墙钟不变,单请求延迟由 218 ms 升至 644 ms)

吞吐随并发变化(--max-num-seqs 32):

并发墙钟(ms)单请求(ms)吞吐(决策/s)
12202184.6
857656713.9
1659457926.9
3267964447.2

关于延迟构成:对量化合并形态做 profiling(vLLM 内置 torch profiler + Ascend msprof)显示,单次决策中设备计算仅占 18%,82% 为设备空闲等待下发,属 host-bound;每次请求约 1.7 万次 ACL 调用。因此提高量化等级、增加张量并行均不改善决策延迟,有效手段是减少下发次数(图捕获)与摊薄下发开销(批处理)。

2、精度验证

在官方 held-out 测试集 test_set_30k(ModelScope SargeDev/jev-distill-corpus-v3,29,955 行)上分层抽样 1000 行(seed 42,noul 408 / choice 307 / score 285)。下表除 choice top-1 一行为全量 29,955 行口径(清晰子集 n=7,723)外,其余四项均为上述 1000 行抽样口径:

指标本文实测官方 README
与教师分布的 KL 散度0.0208≈0.017
noul AUROC0.98290.995
choice top-1 一致率(清晰子集,max(target)≥0.5)94.73%(n=7,723,全量 29,955 行)95.8%
score 期望评分 MAE0.1050.098
期望校准误差 ECE(软标签)0.00770.0009

量化相对 bf16 的 choice top-1 代价约 1.0pp,处于昇腾官方量化指南建议的“相对 FP16 跌幅 ≤1pp”边界;其余四项与 bf16 一致。

上表为默认图捕获配置([1,2,4,8])下的全量结果。第三节推荐配置启用了扩大图捕获,其图回放路径与 eager 存在细微数值差异(同一请求实测 logprob −0.3076 vs −0.3431)。全量 29,955 行复核结论:清晰子集 top-1 为 94.639% vs 94.730%(差 0.09pp),逐行判定翻转 157/7,723(2.03%),McNemar 检验 p=0.63——差异不显著,扩大图捕获未引入实质精度损失。

复现(下载测试集并运行随仓库发布的评估脚本):

mkdir -p /workspace/jev_models/eval
curl -sL "https://modelscope.cn/datasets/SargeDev/jev-distill-corpus-v3/resolve/master/test_set_30k.jsonl" \
  -o /workspace/jev_models/eval/test_set_30k.jsonl
python3 /workspace/JEV-27B-VL/tools/eval_testset.py \
  --base http://127.0.0.1:8000 --n 1000 \
  --test-file /workspace/jev_models/eval/test_set_30k.jsonl \
  --model-dir /workspace/jev_models/JEV-27B-VL \
  --decision-model autotrust/JEV-27B-VL
# 注:上表 choice top-1 为全量口径;如需复现该值,去掉上面的 --n 1000(全量约 3000+ 秒)。

六、常见失败对照

报错 / 现象原因处理
SecurityError: Input path contains invalid characters量化配置或产物路径含中文(msmodelslim 安全检查)改用纯英文路径
SchemaValidateError: model_type is required--config_path 模式下仍需 --model_type传 --model_type "Qwen3.5-397B-A17B"(用作场景标签)
invalid DeviceType value: 'NPU'枚举值须小写传 --device npu
UnsupportedError: requires both image and textVLM 量化要求校准样本图文配对校准集每行带 image 字段
No valid text entries found自定义文件名的校准集不被识别校准文件命名为 index.jsonl 并放入独立目录
KeyError: 'mtp.fc.weight'(启用投机解码时)量化产物未保留 MTP 层不使用 --speculative-config;量化形态下 MTP 不可用
决策概率大量为 0/1用 top_logprobs 截断读数改用 logprob_token_ids(见第四节)
内联 JSON 报 Invalid control character决策模板含换行,复制粘贴时 \n 被还原为真实换行用 -d @文件 传请求体
响应中 message.role 为 useradd_generation_prompt: false 的预期行为(vLLM 回显最后一条消息的角色)正常现象;解析时只取 logprobs 字段
/v1/models 有响应但不是本服务端口被同宿主其他服务占用(容器用 --net=host)启动前 netstat -tlnp | grep :8000 确认(镜像未装 iproute2,无 ss 命令),或改用其他端口
执行清理命令的 shell 自行中断(退出码 144)pkill -f "vllm serve" 的模式串命中执行它的 shell 自身改用 ps -ef | grep -E "[E]ngineCore|[A]PIServer" | awk '{print $2}' | xargs -r kill -9,且单独成块执行
启动报显存不足指定卡上有其他进程,或 max-model-len 过大npu-smi info 查空闲卡;调小 --max-model-len