w
weasonlee/UnifoLM-VLM-Base
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

🤖 UnifoLM-VLM-Base (Ascend NPU 适配)

UnifoLM-VLM-Base:宇树(Unitree Robotics)UnifoLM 系列 VLA 框架的 VLM 基座——一个基于 Qwen2.5-VL-7B 继续预训练的视觉语言基座,用于通用人形机器人操控任务。它从"视觉-语言理解"演进为具备物理常识的"具身大脑",下游可扩展为 UnifoLM-VLA 的动作预测头。

本仓库将该 VLM 基座适配到 华为昇腾 Ascend NPU(torch_npu 2.9.0.post1 + transformers 4.57.6),并提供 inference.py 在 NPU 与 CPU 上分别推理、对比精度与耗时。

模型简介

  • 模型:unitreerobotics/UnifoLM-VLM-Base
  • 主干架构:Qwen2_5_VLForConditionalGeneration(Qwen2.5-VL-7B,28 层 / hidden 3584 / vocab 152064),transformers 4.57.6 原生支持
  • 输入:单/多张图像 + 自然语言指令
  • 输出:teacher-forcing logits 或自回归文本
  • 精度:原始权重 bf16

⚠️ 说明:本仓库验证范围

UnifoLM-VLM-Base 的 HF 权重 仅包含 Qwen2.5-VL-7B 主干(与上游 Qwen2.5-VL 同构)。完整的 UnifoLM-VLA 动作预测流程依赖宇树 unifolm-vla GitHub 仓库中的 action head 与 flow matching 代码(本容器内 GitHub 不可达)。

因此 inference.py 以合成观测图像 + 指令做 teacher-forcing 前向,对比 VLM 主干 logits 在 CPU/NPU 上的一致性(cos_sim / max_abs_err / mean_abs_err / 耗时)——这是 VLA 推理链中 VLM 主干部分的精度验证。

部署步骤

# 1. 安装依赖(Python 3.11,需已安装 CANN / torch_npu 2.9.0.post1)
pip install -r requirements.txt

# 2. 下载权重(若尚未下载,含 4 个 shard)
mkdir -p models
HF_ENDPOINT=https://hf-mirror.com HF_HUB_DOWNLOAD_TIMEOUT=120 python -c \
  "from huggingface_hub import snapshot_download; \
   snapshot_download('unitreerobotics/UnifoLM-VLM-Base', local_dir='models')"

推理示例

# CPU 推理(bf16,作为精度参照,保存 results/cpu_logits.npy)
python inference.py --device cpu

# NPU 推理(bf16,自动与 CPU 结果对比 cos_sim / max_abs_err / mean_abs_err)
python inference.py --device npu

脚本使用 PIL 合成一张含几何色块与文字的测试图 + "Describe the scene and predict the next action for a humanoid robot." 指令,teacher-forcing 前向取 logits。

示例输出(NPU,Ascend 910):

torch 2.9.0+cpu
torch_npu 2.9.0.post1+gitee7ba04
torch.npu.is_available(): True
torch.npu.device_count(): 2
[npu] obs: image (384, 384), prompt: 'Describe the scene and predict the next action for a humanoid robot.'
[npu] input tokens: 235
[npu] logits shape: [1, 235, 152064]
[npu] mean forward latency: 131.10 ms (2 repeats)
[compare] npu vs cpu:
  cos_sim      = 0.989754
  max_abs_err  = 14.312500
  mean_abs_err = 0.379675

CPU vs NPU 精度对比

指标CPU (bf16)NPU (bf16)差异
cos_sim1.00.989754高度一致
max_abs_err—14.312500logits 量纲大,相对极小
mean_abs_err—0.379675极小
单次前向耗时124260.29 ms131.10 msNPU 快约 948×

对比基于完全相同的合成观测与指令(teacher-forcing logits [1, 235, 152064],约 3570 万元素)。Qwen2.5-VL 在昇腾 NPU 上 fp16 前向会产生 NaN logits(实测),故采用 bf16(与模型原始权重精度一致)。

目录结构

.
├── inference.py          # NPU/CPU 推理与精度对比脚本
├── requirements.txt      # 依赖清单
├── readme.md             # 本文档
└── assets/               # 运行截图