将 omlab/OmTrackVLA-0.6B(基于
OpenTrackVLAForWaypoint架构的视觉导航 VLA 模型, arXiv:2509.12129)适配到华为昇腾 910 系列 NPU,通过 vLLM-Ascend 提供 OpenAI 兼容的服务化航点推理。模型卡片元数据见本仓库 YAML frontmatter(hardware: NPU)。
OmTrackVLA 是一套全开源(MIT)的视觉-语言-动作(VLA)技术栈:输入 单目视频序列
与 自然语言导航指令,输出 短视距航点(short-horizon waypoints),面向低成本
复现与部署的机器人跟随 / 导航场景。本仓库交付的是官方 0.6B 权重(model.safetensors,
1,244,858,220 字节,334 个张量)在昇腾 NPU 上的服务化适配产物。
| 组件 | 内容 | 备注 |
|---|---|---|
| 语言骨干 | Qwen3-0.6B(28 层,hidden=1024,16 头 GQA,vocab=151936) | 冻结(freeze_llm=true),BF16 |
| 视觉投影器 | CrossModalityProjector:LayerNorm(1536) → Linear → GELU → Linear(1024) | 将 DINOv2+SigLIP 拼接的 1536 维特征映射到 LLM 隐空间 |
| TVI 嵌入器 | TVIEmbedder:时间 / 视角 / 类别嵌入 + 角度 / bbox 投影 | 为视觉 token 插入时间上下文 token |
| 航点规划头 | PlannerHead3L:LayerNorm → 三层 MLP → tanh | 输出 8×3(x, y, theta)航点,alpha_xy=2.0 缩放 |
| 输出 token | act_token(可学习查询向量),取 LLM 末位隐状态喂给规划头 | 单次前向得到全部 8 个航点 |
原始 HF 导出中 modeling_open_trackvla.py 依赖仓库外部的 model 模块(原生
OpenTrackVLA 训练代码),config.json 中 llm_name 指向训练机本地路径
(/data23/xu_ruochen/hf_models/Qwen3-0.6B-local)。经核对 model.safetensors 头部,
checkpoint 完整内嵌了 Qwen3 基础模型全部 310 个张量(model.llm.embed_tokens、
model.llm.layers.*、model.llm.norm,无 lm_head,BF16)以及 23 个 F32 头部张量
(proj / tvi / act_token / planner / alpha_task)。因此无需额外拉取 Qwen3 权重,
单文件即可完成服务化加载。
sitecustomize.py(PYTHONPATH 注入,spawn 子进程继承)
将 OpenTrackVLAForWaypoint 注册到 vLLM ModelRegistry,复用 vLLM 原生
Qwen3ForCausalLM 作为内部语言模型;WeightsMapper 将 checkpoint 的 model.llm.* → llm.model.*、
model.proj.* → proj.* 等(model.llm. 前缀优先于 model. 前缀);token_id / 255 * 4 - 2 反向解码为航点坐标。| 能力 | 说明 |
|---|---|
| 服务化推理 | OpenAI 兼容 POST /v1/completions |
| 输入 | 自然语言指令 + 71 个 `< |
| 输出 | 24 个量化 token(解码为 8 个航点) |
| 精度 | bfloat16,--enforce-eager,--max-num-seqs 1 |
| 确定性 | temperature=0 输出完全确定性 |
| 项 | 配置 |
|---|---|
| 服务器 | 昇腾 910B(Ascend910),1 卡 × 2 芯片,HBM 64GB/芯片 |
| CANN | 8.5.1 |
| 驱动 | npu-smi 25.5.5 |
| Python | 3.11.14 |
| PyTorch | 2.9.0(torch-npu 2.9.0) |
| vLLM | 0.18.0 |
| vllm-ascend | 0.18.0 |
| transformers | 4.57.6 |
| 部署形态 | 逻辑 NPU1(ASCEND_RT_VISIBLE_DEVICES=1),单进程 vLLM |
权重目录结构:
omlab/OmTrackVLA-0.6B/
├── config.json # architectures=OpenTrackVLAForWaypoint + Qwen3 文本配置
├── model.safetensors # 1.24GB(含内嵌 Qwen3-0.6B 骨干)
├── tokenizer.json / tokenizer_config.json / vocab.json / merges.txt
└── (plugin)sitecustomize.py + omtrack_model.py启动命令(端口 8036,逻辑 NPU1):
export ASCEND_RT_VISIBLE_DEVICES=1
export PYTHONPATH=/tmp/omtrackvla/plugin:$PYTHONPATH
vllm serve /tmp/omtrackvla/deploy \
--served-model-name OmTrackVLA-0.6B \
--dtype bfloat16 \
--max-model-len 2048 \
--max-num-seqs 1 \
--enforce-eager \
--no-enable-prefix-caching \
--gpu-memory-utilization 0.35 \
--port 8036 \
--trust-remote-code服务就绪标志:INFO: Application startup complete.,随后 GET /v1/models 返回 200。
curl -s http://127.0.0.1:8036/v1/models推理调用(完整脚本见 inference.py):
python inference.py --base-url http://127.0.0.1:8036 \
--instruction "follow the person in front of you"| 项目 | 实测值(昇腾 910B) |
|---|---|
| 冷启动首推 | 4.05 s(含引擎预热) |
| 预热后单请求 | 0.75 ~ 0.83 s |
| 输出 token 数 | 24(8 航点 × 3 维) |
| 推理 AICore 占用 | 1% ~ 8%(突发峰值) |
| 服务进程 HBM | ~22.2 GB(VLLMEngineCore) |
| 模型权重 | 1.24 GB(BF16) |
以「量化-解码往返」度量端到端精度:
temperature=0 下同一指令重复推理,24 个输出 token 完全一致(逐位相同),
适合机器人策略的确定性执行;alpha_xy=2.0 缩放已作用于 x/y 通道,theta 保持 1.0 缩放。--max-num-seqs 1 必须保留:航点 token 回放依赖单序列状态,并发批处理会串扰缓存;<|vision_pad|> 连续拼接(无空格)才会编码为单个
token(id 151654),否则会插入空格 token(id 220);--no-enable-prefix-caching:自定义非标准前向避免 Hybrid KV / 前缀缓存异常;llm_name 指向训练机本地路径:checkpoint 已内嵌 Qwen3 权重,部署时以
model_type=qwen3 的合并配置加载,无需访问原路径;