JEV-27B-VL 是 AutoTrust 开源的多模态决策模型,骨干为 Qwen3.5-27B 混合架构(64 层中 48 层 Gated DeltaNet 线性注意力、16 层标准注意力),带 SigLIP 风格视觉塔。提供两种能力:
本文是在昇腾 910B3 上部署该模型的完整过程:下载权重 → 合并决策头 LoRA → W8A8 量化 → 启动服务 → 验证与调用。全部命令使用固定路径,可从上到下依次执行。
目录约定:模型与运行脚本统一放在 /workspace/jev_models;本仓库检出到 /workspace/JEV-27B-VL,§4 的示例图 assets/photo.jpg、§5 的评估脚本 tools/eval_testset.py 均在该目录下。
| 配套 | 版本 |
|---|---|
| Python | 3.12(容器内置) |
| 驱动 | 25.5.6 |
| 容器镜像 | vllm-ascend 官方 v0.26.0rc1(内含 torch 2.10.0+cpu、torch_npu 2.10.0.post4、vLLM 0.26.0、vllm-ascend 0.26.0rc1、triton_ascend 3.2.2、transformers 5.14.1) |
| 量化工具 | msmodelslim 26.1.0 |
| JEV-27B-VL 权重 | modelscope autotrust/JEV-27B-VL |
整机:8 × 910B3(64GB HBM)。本文全部流程单卡完成,卡号由 ASCEND_RT_VISIBLE_DEVICES 指定。
export IMAGE=quay.nju.edu.cn/ascend/vllm-ascend:v0.26.0rc1
docker run \
--name jev \
--privileged \
--net=host \
--shm-size=1g \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /etc/hccn.conf:/etc/hccn.conf \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /root/.cache:/root/.cache \
-it $IMAGE bash容器启动后即进入容器内的 bash,后续各节均在容器中执行。确认 NPU 可见:
npu-smi info预期:8 张 910B3,Health 均为 OK,各卡 HBM 仅基础占用(约 3.4GB/65536MB),Process 列表为空。
本文后续引用的示例图(§4)与评估脚本(§5)随本仓库发布:
cd /workspace
git clone https://atomgit.com/Ascend-SACT/JEV-27B-VL.git检出后目录为 /workspace/JEV-27B-VL。若客户侧无法直连该地址,从其他渠道取得本仓库后放到同一路径即可。
仓库另含 patches/01_qwen3_5_embedding_modules.patch(为 vLLM 的 qwen3_5 补 embedding_modules,使 lm_head LoRA 可通过校验)。本文流程不使用运行时 LoRA,该补丁非必需;仅在改用 bf16 + 运行时 LoRA 部署时才需要。
pip install modelscope accelerate peft msmodelslim==26.1.0
mkdir -p /workspace/jev_models
modelscope download --model autotrust/JEV-27B-VL \
--local_dir /workspace/jev_models/JEV-27B-VL下载约 55GB(18 个分片 + adapter_vllm/ 决策头适配器)。
System 1 的能力来自随权重发布的 451MB LoRA 适配器。运行时挂载 LoRA 会让模型的 64 层每步都走一遍 LoRA 旁路,实测单次决策 1527ms;合并进基座后降至约 350ms。后续量化也以合并后的模型为输入。
cat > /workspace/jev_models/merge_lora.py << 'PYEOF'
import os, shutil, torch
from transformers import Qwen3_5ForConditionalGeneration
from peft import PeftModel
BF16 = "/workspace/jev_models/JEV-27B-VL"
ADAPTER = "/workspace/jev_models/JEV-27B-VL/adapter_vllm"
OUT = "/workspace/jev_models/JEV-27B-VL-merged"
base = Qwen3_5ForConditionalGeneration.from_pretrained(BF16, dtype=torch.bfloat16)
model = PeftModel.from_pretrained(base, ADAPTER).merge_and_unload()
model.save_pretrained(OUT, safe_serialization=True)
for f in ["tokenizer.json", "tokenizer_config.json", "vocab.json", "merges.txt",
"preprocessor_config.json", "video_preprocessor_config.json", "chat_template.jinja"]:
src = os.path.join(BF16, f)
if os.path.exists(src):
shutil.copy(src, os.path.join(OUT, f))
print("merged 模型已保存:", OUT)
PYEOF
python3 /workspace/jev_models/merge_lora.py量化合并后的模型:权重由 51.75GB 降至 29.95GB,System 2 decode 提升 2.4 倍,并使单卡可开满模型原生 262,144 token(256K)上下文。
量化配置(放在纯英文路径下——msmodelslim 的安全检查会拒绝含中文的路径):
mkdir -p /workspace/jev_models/quant_cfg
cat > /workspace/jev_models/quant_cfg/jev27b_w8a8.yaml << 'EOF'
apiversion: multimodal_vlm_modelslim_v1
metadata:
config_id: jev27b_w8a8
score: 90
label:
w_bit: 8
a_bit: 8
is_sparse: False
kv_cache: False
default_w8a8_dynamic: &default_w8a8_dynamic
act:
scope: "per_token"
dtype: "int8"
symmetric: True
method: "minmax"
weight:
scope: "per_channel"
dtype: "int8"
symmetric: True
method: "minmax"
spec:
process:
- type: "group"
configs:
- type: "linear_quant"
qconfig: *default_w8a8_dynamic
include:
- "*self_attn.q_proj*"
- "*self_attn.k_proj*"
- "*self_attn.v_proj*"
- "*visual.blocks*"
exclude:
- "mtp*"
- type: "linear_quant"
qconfig: *default_w8a8_dynamic
include:
- "*mlp.gate_proj*"
- "*mlp.up_proj*"
- "*mlp.down_proj*"
exclude:
- "mtp*"
- type: "linear_quant"
qconfig: *default_w8a8_dynamic
include:
- "*linear_attn.in_proj_qkv*"
- "*linear_attn.in_proj_z*"
exclude:
- "mtp*"
save:
- type: "ascendv1_saver"
part_file_size: 4
dataset: "calibImages"
default_text: "Describe this image in detail."
EOF配置说明:量化 MLP(占参数 63%)、full-attn 的 qkv、GDN 的 in_proj_qkv/in_proj_z 与视觉塔;排除 lm_head(System 1 的校准依赖其精细 logit 差)、GDN 的 out_proj 与 in_proj_b/a(小维度)、MTP 与 conv1d。
执行量化:
export ASCEND_RT_VISIBLE_DEVICES=0
msmodelslim quant \
--model_type "Qwen3.5-397B-A17B" \
--model_path /workspace/jev_models/JEV-27B-VL-merged \
--save_path /workspace/jev_models/JEV-27B-VL-w8a8 \
--config_path /workspace/jev_models/quant_cfg/jev27b_w8a8.yaml \
--device npu预期:约 6~15 分钟完成,末尾输出 ===========SUCCESS===========,产物约 30GB(quant_model_weights-*.safetensors 分片 + quant_model_description.json,分片数以 quant_model_weights.safetensors.index.json 中的清单为准)。
export ASCEND_RT_VISIBLE_DEVICES=0
nohup vllm serve /workspace/jev_models/JEV-27B-VL-w8a8 \
--served-model-name autotrust/JEV-27B-VL \
--tensor-parallel-size 1 \
--max-model-len 262144 \
--quantization ascend \
--enable-prefix-caching \
--logprobs-mode processed_logprobs \
--limit-mm-per-prompt '{"image": 8}' \
--max-num-seqs 32 \
--trust-request-chat-template \
--compilation-config '{"cudagraph_capture_sizes":[1,2,4,8,16,32,64,128,256],"max_cudagraph_capture_size":256}' \
--port 8000 > /workspace/jev_models/serve.log 2>&1 &
READY=0
for i in $(seq 1 40); do
sleep 15
# 双条件:日志出现启动完成 + /v1/models 的 root 指向本次模型路径
if grep -q "Application startup complete" /workspace/jev_models/serve.log 2>/dev/null &&
curl -s --max-time 5 http://127.0.0.1:8000/v1/models | grep -q "/workspace/jev_models/JEV-27B-VL-w8a8"; then
echo "SERVER READY"; READY=1; break
fi
done
[ "$READY" = 1 ] || echo "!! 服务未就绪,请查看 /workspace/jev_models/serve.log(常见原因:端口被占用、指定卡显存不足)"就绪判据必须能区分“是不是本服务”:只判断 curl /v1/models 是否成功时,若该端口上已有其他服务(他人部署的同名模型,或自己上一次未清理干净的实例),即使本服务已因端口冲突退出,循环也会立刻打印 SERVER READY,后续验证会全部打到别的服务上。因此这里用「日志出现 Application startup complete」+「/v1/models 的 root 指向本次模型路径」双条件,40 次仍不就绪时给出提示。
关键参数:
| 参数 | 作用 |
|---|---|
--quantization ascend | 加载 W8A8 量化权重(必需) |
--max-model-len 262144 | 放开到模型原生最大上下文(256K) |
--enable-prefix-caching | 相同长前缀可复用,降低重复长文开销 |
--max-num-seqs 32 | 批处理上限;批量场景决定吞吐,见第五节 |
--compilation-config | 扩大图捕获尺寸;默认仅 [1,2,4,8] 覆盖不到约 50 token 的决策 prompt,该步只能走 eager 下发。扩到 256 后决策延迟 329ms → 232ms |
启动日志预期(节选):
(EngineCore pid=xxxx) INFO ... [model_runner_v1.py:3710] Loading model weights took 29.9483 GB
(EngineCore pid=xxxx) INFO ... [worker.py:598] Available KV cache memory: 23.20 GiB
(APIServer pid=xxxx) INFO: Application startup complete.curl -s http://127.0.0.1:8000/v1/models预期返回 {"object":"list","data":[{"id":"autotrust/JEV-27B-VL", ...}]}。
一次文本对话:
curl -s http://127.0.0.1:8000/v1/chat/completions \
-H 'Content-Type: application/json' -d '{
"model": "autotrust/JEV-27B-VL",
"messages": [{"role": "user", "content": "用一句话说明昇腾 NPU 的特点。"}],
"max_tokens": 64, "temperature": 0,
"chat_template_kwargs": {"enable_thinking": false}}'文本用标准 messages;图像以 image_url 传 base64 data URL:
import base64, requests
# 示例图随仓库发布,位于 assets/photo.jpg(红圆、蓝方、绿三角)
with open("/workspace/JEV-27B-VL/assets/photo.jpg", "rb") as f:
data_url = "data:image/jpeg;base64," + base64.b64encode(f.read()).decode()
r = requests.post("http://127.0.0.1:8000/v1/chat/completions", json={
"model": "autotrust/JEV-27B-VL",
"messages": [{"role": "user", "content": [
{"type": "image_url", "image_url": {"url": data_url}},
{"type": "text", "text": "图中有几种形状?分别是什么颜色?"}]}],
"max_tokens": 128, "temperature": 0,
"chat_template_kwargs": {"enable_thinking": False}})
print(r.json()["choices"][0]["message"]["content"])System 1 不生成文本,一次前向返回每个选项的校准概率。调用需三步:构造裸决策模板 → 用 logprob_token_ids 直读决策词 logprob → 套用 decision head 的 bias/temperature 校正。
import json, math, requests
BASE = "http://127.0.0.1:8000"
# 校正参数随权重发布,位于 adapter_vllm/ 与模型根目录
DH = json.load(open("/workspace/jev_models/JEV-27B-VL/adapter_vllm/decision_head.json"))
CAL = json.load(open("/workspace/jev_models/JEV-27B-VL/calibration.json"))
RAW = ("{%- for m in messages -%}{%- for c in m['content'] -%}{%- if c['type'] == 'text' -%}{{ c['text'] }}"
"{%- else -%}<|vision_start|><|image_pad|><|vision_end|>{%- endif -%}{%- endfor -%}{%- endfor -%}")
def decide(kind, state, question, options=None):
if options is None:
options = {"noul": ["false", "true"], "score": [str(i) for i in range(6)]}[kind]
lines = options if kind != "choice" else [f"{'ABCDEFGHIJKLMNOP'[i]}) {o}" for i, o in enumerate(options)]
lo = DH["slots"]["ranges"][kind][0]
ids = DH["verbalizer_ids"][lo:lo + len(options)]
# state 为字符串时按纯文本拼接;为列表(图文混排)时按位置展开进 content
if isinstance(state, list):
content = [{"type": "text", "text": f"[kind] {kind}\n[state] "}] + state
else:
content = [{"type": "text", "text": f"[kind] {kind}\n[state] {state}"}]
content.append({"type": "text",
"text": f"\n[question] {question}\n[options]\n" + "\n".join(lines) + "\n[decision]:"})
r = requests.post(f"{BASE}/v1/chat/completions", json={
"model": "autotrust/JEV-27B-VL",
"messages": [{"role": "user", "content": content}],
"chat_template": RAW, "add_generation_prompt": False, "add_special_tokens": False,
"max_tokens": 1, "temperature": 1.0, "top_k": 0, "top_p": 1.0,
"logprobs": True, "top_logprobs": 0, # 必须为 0:不按概率截断
"logprob_token_ids": ids, # 直接指定要读的决策词
"allowed_token_ids": ids, "return_tokens_as_token_ids": True}, timeout=300)
top = r.json()["choices"][0]["logprobs"]["content"][0]["top_logprobs"]
lp = {int(t["token"].split(":")[1]): t["logprob"] for t in top}
z = [(lp.get(t, -1e9) + DH["bias"][lo + i]) / CAL["per_kind"][kind] for i, t in enumerate(ids)]
e = [math.exp(x - max(z)) for x in z]
s = sum(e)
return dict(zip(options, [x / s for x in e]))
print(decide("choice",
"Customer: my card was charged twice for one coffee.",
"Which team should handle this?",
["billing", "shipping", "tech support"]))
# 预期:{'billing': 0.9958, 'shipping': 0.0, 'tech support': 0.0042}
# (官方 GPU 参考:[0.9969, 0.0000, 0.0031])三种决策类型:
kind | options | 用途 |
|---|---|---|
noul | ["false", "true"] | 是非判定 |
score | ["0"..."5"] | 0–5 打分 |
choice | 自定义 2–256 项 | 多选一 |
图像决策:把 state 换成列表,图像与文本按位置混排:
state = ["Photo: ", {"type": "image_url", "image_url": {"url": data_url}}]
print(decide("noul", state, "这张图里是否包含人物?"))协议要点(违反会得到错误概率且不报错):
logprob_token_ids 直读决策词,top_logprobs 设为 0。决策词的绝对概率很低(如 0.46/0.54 的行 logprob ≈ −9.5),常不在默认 top-N 内;按概率截断会把缺失项当极低概率,使分布退化成 0/1。top_k: 0, top_p: 1.0。模型 generation_config.json 默认 top_k=20, top_p=0.95,会截断概率。chat_template 并设 add_generation_prompt: false。decision head 是在该格式上校准的。decision_head.json 与 calibration.json 的 bias/temperature 校正。--trust-request-chat-template(本文启动命令已含)。document.txt 为任意长文;下面生成一份与下表长度对应的文档(示例段落固定 34 token,重复次数 × 34 即文档长度):
python3 -c "print('这是一份用于验证长上下文能力的测试文档。文档由重复的示例段落构成,内容本身无实际含义,仅用于测量长 prompt 下的决策延迟。' * 1178)" > /workspace/jev_models/document.txtlong_text = open("/workspace/jev_models/document.txt").read()
print(decide("noul", long_text, "这份文档是否包含安全风险?"))| prompt 长度 | 单次决策耗时(实测) |
|---|---|
| 40,048 tokens | 11.1 s |
| 120,052 tokens | 45.1 s |
| 235,052 tokens | 128.9 s |
上表三档分别对应重复 1178、3531、6913 次。
延迟约等于 prefill 时间,随长度近似线性(约 0.55 s/千 token)。已开启 prefix-caching:多个请求共享同一段长前缀(如对同一份文档提多个问题)时后续请求可显著加速。
单卡 910B3,量化合并形态:
| 指标 | 实测 |
|---|---|
| System 1 决策端到端(单次,串行) | 232 ms |
| System 2 文本 decode | 约 36 ms/token |
| 最大上下文 | 262,144 tokens(256K) |
| 并发吞吐(c=32) | 47.2 决策/s |
各优化项的实测效果:
| 优化 | 效果 |
|---|---|
| 合并 LoRA 进基座 | 决策 1527 ms → 350 ms |
| W8A8 量化 | 权重 51.75 → 29.95 GB;decode 2.4×;上下文 12,288 → 262,144(21×) |
扩大图捕获尺寸(--compilation-config) | 决策 329 ms → 232 ms |
批处理(--max-num-seqs 8 → 32) | 吞吐 11.9 → 47.2 决策/s(墙钟不变,单请求延迟由 218 ms 升至 644 ms) |
吞吐随并发变化(--max-num-seqs 32):
| 并发 | 墙钟(ms) | 单请求(ms) | 吞吐(决策/s) |
|---|---|---|---|
| 1 | 220 | 218 | 4.6 |
| 8 | 576 | 567 | 13.9 |
| 16 | 594 | 579 | 26.9 |
| 32 | 679 | 644 | 47.2 |
关于延迟构成:对量化合并形态做 profiling(vLLM 内置 torch profiler + Ascend msprof)显示,单次决策中设备计算仅占 18%,82% 为设备空闲等待下发,属 host-bound;每次请求约 1.7 万次 ACL 调用。因此提高量化等级、增加张量并行均不改善决策延迟,有效手段是减少下发次数(图捕获)与摊薄下发开销(批处理)。
在官方 held-out 测试集 test_set_30k(ModelScope SargeDev/jev-distill-corpus-v3,29,955 行)上分层抽样 1000 行(seed 42,noul 408 / choice 307 / score 285)。下表除 choice top-1 一行为全量 29,955 行口径(清晰子集 n=7,723)外,其余四项均为上述 1000 行抽样口径:
| 指标 | 本文实测 | 官方 README |
|---|---|---|
| 与教师分布的 KL 散度 | 0.0208 | ≈0.017 |
| noul AUROC | 0.9829 | 0.995 |
| choice top-1 一致率(清晰子集,max(target)≥0.5) | 94.73%(n=7,723,全量 29,955 行) | 95.8% |
| score 期望评分 MAE | 0.105 | 0.098 |
| 期望校准误差 ECE(软标签) | 0.0077 | 0.0009 |
量化相对 bf16 的 choice top-1 代价约 1.0pp,处于昇腾官方量化指南建议的“相对 FP16 跌幅 ≤1pp”边界;其余四项与 bf16 一致。
上表为默认图捕获配置(
[1,2,4,8])下的全量结果。第三节推荐配置启用了扩大图捕获,其图回放路径与 eager 存在细微数值差异(同一请求实测 logprob −0.3076 vs −0.3431)。全量 29,955 行复核结论:清晰子集 top-1 为 94.639% vs 94.730%(差 0.09pp),逐行判定翻转 157/7,723(2.03%),McNemar 检验 p=0.63——差异不显著,扩大图捕获未引入实质精度损失。
复现(下载测试集并运行随仓库发布的评估脚本):
mkdir -p /workspace/jev_models/eval
curl -sL "https://modelscope.cn/datasets/SargeDev/jev-distill-corpus-v3/resolve/master/test_set_30k.jsonl" \
-o /workspace/jev_models/eval/test_set_30k.jsonl
python3 /workspace/JEV-27B-VL/tools/eval_testset.py \
--base http://127.0.0.1:8000 --n 1000 \
--test-file /workspace/jev_models/eval/test_set_30k.jsonl \
--model-dir /workspace/jev_models/JEV-27B-VL \
--decision-model autotrust/JEV-27B-VL
# 注:上表 choice top-1 为全量口径;如需复现该值,去掉上面的 --n 1000(全量约 3000+ 秒)。| 报错 / 现象 | 原因 | 处理 |
|---|---|---|
SecurityError: Input path contains invalid characters | 量化配置或产物路径含中文(msmodelslim 安全检查) | 改用纯英文路径 |
SchemaValidateError: model_type is required | --config_path 模式下仍需 --model_type | 传 --model_type "Qwen3.5-397B-A17B"(用作场景标签) |
invalid DeviceType value: 'NPU' | 枚举值须小写 | 传 --device npu |
UnsupportedError: requires both image and text | VLM 量化要求校准样本图文配对 | 校准集每行带 image 字段 |
No valid text entries found | 自定义文件名的校准集不被识别 | 校准文件命名为 index.jsonl 并放入独立目录 |
KeyError: 'mtp.fc.weight'(启用投机解码时) | 量化产物未保留 MTP 层 | 不使用 --speculative-config;量化形态下 MTP 不可用 |
| 决策概率大量为 0/1 | 用 top_logprobs 截断读数 | 改用 logprob_token_ids(见第四节) |
内联 JSON 报 Invalid control character | 决策模板含换行,复制粘贴时 \n 被还原为真实换行 | 用 -d @文件 传请求体 |
响应中 message.role 为 user | add_generation_prompt: false 的预期行为(vLLM 回显最后一条消息的角色) | 正常现象;解析时只取 logprobs 字段 |
/v1/models 有响应但不是本服务 | 端口被同宿主其他服务占用(容器用 --net=host) | 启动前 netstat -tlnp | grep :8000 确认(镜像未装 iproute2,无 ss 命令),或改用其他端口 |
| 执行清理命令的 shell 自行中断(退出码 144) | pkill -f "vllm serve" 的模式串命中执行它的 shell 自身 | 改用 ps -ef | grep -E "[E]ngineCore|[A]PIServer" | awk '{print $2}' | xargs -r kill -9,且单独成块执行 |
| 启动报显存不足 | 指定卡上有其他进程,或 max-model-len 过大 | npu-smi info 查空闲卡;调小 --max-model-len |