这是一个面向华为昇腾平台的 OmTrackVLA-0.6B 模型适配方案。OmTrackVLA 是一个开源的视觉-语言-动作模型,专为机器人导航任务的航点预测设计。该模型接收单目视频序列和自然语言指令,输出未来的运动轨迹航点。
本仓库的核心贡献在于:将 omlab 团队发布的 OmTrackVLA-0.6B 权重成功迁移至 Ascend910 NPU 环境,并构建了完整的 HTTP 推理服务。所有代码均经过实际部署验证,可直接用于机器人导航场景的推理部署。
模型关键参数:视觉特征维度 1536,航点数量 8,历史帧数 31,动作维度 3(x, y, theta),语言模型为 Qwen3-0.6B。
硬件平台:Atlas 800 A2 推理服务器,搭载 Ascend910 NPU。软件栈基于 CANN 8.5.1 构建,PyTorch 使用 2.9.0 版本配合 torch_npu 2.9.0.post1 实现 NPU 加速。推理服务框架采用 FastAPI + Uvicorn,提供 RESTful API 接口。
关键依赖清单:
启动推理服务前,请确保已安装所有依赖并正确配置了 NPU 环境变量。
export ASCEND_RT_VISIBLE_DEVICES=0
export HF_ENDPOINT=https://hf-mirror.com
export HF_HUB_OFFLINE=1
python3 inference.py --host 0.0.0.0 --port 8002服务启动后将在指定端口监听推理请求,首次启动会自动加载模型至 NPU 显存,加载过程约需 3-4 秒。服务提供三个 REST 接口:/health(健康检查)、/infer(推理)、/infer_simple(烟雾测试)。
执行以下命令快速验证服务是否正常运行:
# 健康检查
curl -s http://localhost:8002/health | python3 -m json.tool
# 烟雾测试(使用合成数据)
curl -s -X POST http://localhost:8002/infer_simple | python3 -m json.tool健康检查通过后,烟雾测试接口会使用随机生成的特征数据执行一次完整的模型前向传播,返回 8 个航点坐标和推理耗时。如果模型加载成功且推理正常,即可确认部署完成。
在 Ascend910 NPU 上进行的基准测试结果如下:
模型加载阶段耗时约 3.5 秒,其中包含 Qwen3-0.6B 语言模型的加载和 OpenTrackVLA 权重的加载。单次推理(包含 31 帧视觉特征的处理和 8 个航点的预测)平均耗时约 260-280 毫秒。
NPU 显存占用稳定在 2.8 GB 左右,HBM 总使用约 7.0 GB,剩余显存充足,可支持多路并发推理。NPU 芯片温度维持在 43 度左右,功耗约 172W,运行状态稳定。
由于模型以 float32 精度运行,未启用混合精度训练或推理,因此在 NPU 上的推理结果与 GPU 上的结果在数值上完全一致。通过控制变量测试验证,相同输入下 NPU 和 GPU 的输出差异在 1e-6 量级以内,主要是浮点运算顺序导致的舍入误差。
建议在实际部署前使用真实场景的视觉缓存数据(通过 precache_frames.py 脚本提取)进行精度验证,确保模型在特定任务上的表现符合预期。
模型权重文件较大(约 1.2 GB 的 safetensors 和 1.2 GB 的 bin 文件),下载时请确保网络稳定。如果使用 HuggingFace 镜像站下载,建议开启断点续传功能。
由于 OpenTrackVLA 是一个自定义模型架构,其 HuggingFace 配置类通过 init.py 中的 _register_with_auto() 函数动态注册到 AutoConfig 和 AutoModel 中。因此加载模型时需要确保 modeling_open_trackvla.py 和 configuration_open_trackvla.py 位于正确的路径下。
推理服务当前仅支持单卡部署,如需多卡并行,需要对模型进行分布式改造。另外,模型的视觉特征提取(SigLIP 编码器)不在本推理服务范围内,需要外部预处理后传入已提取的特征张量。