UnifoLM-VLM-Base:宇树(Unitree Robotics)UnifoLM 系列 VLA 框架的 VLM 基座——一个基于 Qwen2.5-VL-7B 继续预训练的视觉语言基座,用于通用人形机器人操控任务。它从"视觉-语言理解"演进为具备物理常识的"具身大脑",下游可扩展为 UnifoLM-VLA 的动作预测头。
本仓库将该 VLM 基座适配到 华为昇腾 Ascend NPU(torch_npu 2.9.0.post1 + transformers 4.57.6),并提供 inference.py 在 NPU 与 CPU 上分别推理、对比精度与耗时。
UnifoLM-VLM-Base 的 HF 权重 仅包含 Qwen2.5-VL-7B 主干(与上游 Qwen2.5-VL 同构)。完整的 UnifoLM-VLA 动作预测流程依赖宇树 unifolm-vla GitHub 仓库中的 action head 与 flow matching 代码(本容器内 GitHub 不可达)。
因此 inference.py 以合成观测图像 + 指令做 teacher-forcing 前向,对比 VLM 主干 logits 在 CPU/NPU 上的一致性(cos_sim / max_abs_err / mean_abs_err / 耗时)——这是 VLA 推理链中 VLM 主干部分的精度验证。
# 1. 安装依赖(Python 3.11,需已安装 CANN / torch_npu 2.9.0.post1)
pip install -r requirements.txt
# 2. 下载权重(若尚未下载,含 4 个 shard)
mkdir -p models
HF_ENDPOINT=https://hf-mirror.com HF_HUB_DOWNLOAD_TIMEOUT=120 python -c \
"from huggingface_hub import snapshot_download; \
snapshot_download('unitreerobotics/UnifoLM-VLM-Base', local_dir='models')"# CPU 推理(bf16,作为精度参照,保存 results/cpu_logits.npy)
python inference.py --device cpu
# NPU 推理(bf16,自动与 CPU 结果对比 cos_sim / max_abs_err / mean_abs_err)
python inference.py --device npu脚本使用 PIL 合成一张含几何色块与文字的测试图 + "Describe the scene and predict the next action for a humanoid robot." 指令,teacher-forcing 前向取 logits。
示例输出(NPU,Ascend 910):
torch 2.9.0+cpu
torch_npu 2.9.0.post1+gitee7ba04
torch.npu.is_available(): True
torch.npu.device_count(): 2
[npu] obs: image (384, 384), prompt: 'Describe the scene and predict the next action for a humanoid robot.'
[npu] input tokens: 235
[npu] logits shape: [1, 235, 152064]
[npu] mean forward latency: 131.10 ms (2 repeats)
[compare] npu vs cpu:
cos_sim = 0.989754
max_abs_err = 14.312500
mean_abs_err = 0.379675| 指标 | CPU (bf16) | NPU (bf16) | 差异 |
|---|---|---|---|
| cos_sim | 1.0 | 0.989754 | 高度一致 |
| max_abs_err | — | 14.312500 | logits 量纲大,相对极小 |
| mean_abs_err | — | 0.379675 | 极小 |
| 单次前向耗时 | 124260.29 ms | 131.10 ms | NPU 快约 948× |
对比基于完全相同的合成观测与指令(teacher-forcing logits
[1, 235, 152064],约 3570 万元素)。Qwen2.5-VL 在昇腾 NPU 上 fp16 前向会产生 NaN logits(实测),故采用 bf16(与模型原始权重精度一致)。
.
├── inference.py # NPU/CPU 推理与精度对比脚本
├── requirements.txt # 依赖清单
├── readme.md # 本文档
└── assets/ # 运行截图