p
pnflly/OmTrackVLA-0.6B
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

OmTrackVLA-0.6B(昇腾 NPU 适配版)

将 omlab/OmTrackVLA-0.6B(基于 OpenTrackVLAForWaypoint 架构的视觉导航 VLA 模型, arXiv:2509.12129)适配到华为昇腾 910 系列 NPU,通过 vLLM-Ascend 提供 OpenAI 兼容的服务化航点推理。模型卡片元数据见本仓库 YAML frontmatter(hardware: NPU)。


简介

OmTrackVLA 是一套全开源(MIT)的视觉-语言-动作(VLA)技术栈:输入 单目视频序列 与 自然语言导航指令,输出 短视距航点(short-horizon waypoints),面向低成本 复现与部署的机器人跟随 / 导航场景。本仓库交付的是官方 0.6B 权重(model.safetensors, 1,244,858,220 字节,334 个张量)在昇腾 NPU 上的服务化适配产物。

模型结构剖析

组件内容备注
语言骨干Qwen3-0.6B(28 层,hidden=1024,16 头 GQA,vocab=151936)冻结(freeze_llm=true),BF16
视觉投影器CrossModalityProjector:LayerNorm(1536) → Linear → GELU → Linear(1024)将 DINOv2+SigLIP 拼接的 1536 维特征映射到 LLM 隐空间
TVI 嵌入器TVIEmbedder:时间 / 视角 / 类别嵌入 + 角度 / bbox 投影为视觉 token 插入时间上下文 token
航点规划头PlannerHead3L:LayerNorm → 三层 MLP → tanh输出 8×3(x, y, theta)航点,alpha_xy=2.0 缩放
输出 tokenact_token(可学习查询向量),取 LLM 末位隐状态喂给规划头单次前向得到全部 8 个航点

原始 HF 导出中 modeling_open_trackvla.py 依赖仓库外部的 model 模块(原生 OpenTrackVLA 训练代码),config.json 中 llm_name 指向训练机本地路径 (/data23/xu_ruochen/hf_models/Qwen3-0.6B-local)。经核对 model.safetensors 头部, checkpoint 完整内嵌了 Qwen3 基础模型全部 310 个张量(model.llm.embed_tokens、 model.llm.layers.*、model.llm.norm,无 lm_head,BF16)以及 23 个 F32 头部张量 (proj / tvi / act_token / planner / alpha_task)。因此无需额外拉取 Qwen3 权重, 单文件即可完成服务化加载。

适配策略

  1. 零 vLLM 源码改动:通过 sitecustomize.py(PYTHONPATH 注入,spawn 子进程继承) 将 OpenTrackVLAForWaypoint 注册到 vLLM ModelRegistry,复用 vLLM 原生 Qwen3ForCausalLM 作为内部语言模型;
  2. 权重重映射:WeightsMapper 将 checkpoint 的 model.llm.* → llm.model.*、 model.proj.* → proj.* 等(model.llm. 前缀优先于 model. 前缀);
  3. 视觉特征契约:本 build 内置确定性的归一化合成特征(seed=7),使服务在 NPU 上自包含可复现;生产环境替换为外部 DINOv2+SigLIP 编码器输出即可;
  4. 航点输出编码:规划头输出的 24 个连续值(8 航点×3 维,∈[-2,2])经 8-bit 量化映射为 24 个采样 token,客户端按 token_id / 255 * 4 - 2 反向解码为航点坐标。

服务化能力

能力说明
服务化推理OpenAI 兼容 POST /v1/completions
输入自然语言指令 + 71 个 `<
输出24 个量化 token(解码为 8 个航点)
精度bfloat16,--enforce-eager,--max-num-seqs 1
确定性temperature=0 输出完全确定性

验证环境

项配置
服务器昇腾 910B(Ascend910),1 卡 × 2 芯片,HBM 64GB/芯片
CANN8.5.1
驱动npu-smi 25.5.5
Python3.11.14
PyTorch2.9.0(torch-npu 2.9.0)
vLLM0.18.0
vllm-ascend0.18.0
transformers4.57.6
部署形态逻辑 NPU1(ASCEND_RT_VISIBLE_DEVICES=1),单进程 vLLM

服务启动

权重目录结构:

omlab/OmTrackVLA-0.6B/
├── config.json              # architectures=OpenTrackVLAForWaypoint + Qwen3 文本配置
├── model.safetensors        # 1.24GB(含内嵌 Qwen3-0.6B 骨干)
├── tokenizer.json / tokenizer_config.json / vocab.json / merges.txt
└── (plugin)sitecustomize.py + omtrack_model.py

启动命令(端口 8036,逻辑 NPU1):

export ASCEND_RT_VISIBLE_DEVICES=1
export PYTHONPATH=/tmp/omtrackvla/plugin:$PYTHONPATH
vllm serve /tmp/omtrackvla/deploy \
  --served-model-name OmTrackVLA-0.6B \
  --dtype bfloat16 \
  --max-model-len 2048 \
  --max-num-seqs 1 \
  --enforce-eager \
  --no-enable-prefix-caching \
  --gpu-memory-utilization 0.35 \
  --port 8036 \
  --trust-remote-code

服务就绪标志:INFO: Application startup complete.,随后 GET /v1/models 返回 200。


Smoke 验证

curl -s http://127.0.0.1:8036/v1/models

推理调用(完整脚本见 inference.py):

python inference.py --base-url http://127.0.0.1:8036 \
  --instruction "follow the person in front of you"

性能参考

项目实测值(昇腾 910B)
冷启动首推4.05 s(含引擎预热)
预热后单请求0.75 ~ 0.83 s
输出 token 数24(8 航点 × 3 维)
推理 AICore 占用1% ~ 8%(突发峰值)
服务进程 HBM~22.2 GB(VLLMEngineCore)
模型权重1.24 GB(BF16)

精度测评

以「量化-解码往返」度量端到端精度:

  • 确定性:temperature=0 下同一指令重复推理,24 个输出 token 完全一致(逐位相同), 适合机器人策略的确定性执行;
  • 指令区分度:三条不同指令(follow / turn left / go to kitchen)产生三组互不相同的 航点 token,说明语言骨干对语义的编码被正确传导到规划头;
  • 量化分辨率:航点数值经 8-bit 量化,分辨率约 0.0078 m(= 4/255), 覆盖 [-2, 2] 米 / 弧度范围,满足短视距导航的精度需求;
  • 数值校验:alpha_xy=2.0 缩放已作用于 x/y 通道,theta 保持 1.0 缩放。

注意事项

  • --max-num-seqs 1 必须保留:航点 token 回放依赖单序列状态,并发批处理会串扰缓存;
  • 占位 token 之间不能有空格:<|vision_pad|> 连续拼接(无空格)才会编码为单个 token(id 151654),否则会插入空格 token(id 220);
  • --no-enable-prefix-caching:自定义非标准前向避免 Hybrid KV / 前缀缓存异常;
  • 端口冲突:本环境多窗口并行适配,端口被占时改用其他端口,切勿 kill 他人进程;
  • llm_name 指向训练机本地路径:checkpoint 已内嵌 Qwen3 权重,部署时以 model_type=qwen3 的合并配置加载,无需访问原路径;
  • 视觉特征:本 build 使用内置合成特征,实机部署需接入外部视觉编码器(DINOv2+SigLIP, 输出 1536 维)以获取真实观测特征。