K
KevinLi11/Alpamayo-1.5-10B
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

Alpamayo-1.5-10B Ascend NPU 适配

NVIDIA Alpamayo 1.5 是 10B 参数的 VLA (Vision-Language-Action) 模型,专为自动驾驶端到端规划设计。本仓库将其适配到华为 Ascend NPU(CANN 8.5.1 + torch_npu 2.9.0 + transformers 4.57.6),并提供单文件推理与 CPU vs NPU 6 项指标对比。

1. 模型简介

Alpamayo 1.5 是 NVIDIA 在 2026 年初推出的 10B chain-of-thought reasoning VLA 模型,用于自动驾驶车辆的端到端轨迹预测与推理:

  • 视觉塔:Qwen3-VL 视觉编码器(27 层 InternViT,patch_size=16,spatial_merge_size=2,merger hidden=4608)
  • 语言主干:Cosmos-Reason2-8B / Qwen3-VL 36 层 LLM,hidden=4096,intermediate=12288
  • 动作专家 (Action Expert):36 层 Llama-style decoder,hidden=2048,intermediate=8256,带 qk_norm
  • 动作头 (Action Head):60-d waypoints → 2048-d expert hidden (MLP) → 2-d (x, y) 末点 (flow-matching 简化版)
  • 用途:输入多摄像头图像 + 导航指令 + 车辆状态,输出 64 点 (n_waypoints=64) 轨迹预测与 chain-of-causation 推理

本仓库的 NPU 适配策略:

  • 放弃 trust_remote_code=True(本机出网受限,HF Hub 不可达)→ 自包含模型包装器 AlpamayoVLA
  • 真实加载 Alpamayo 权重中的 vlm.model.visual.{patch_embed, merger}(视觉投影)+ expert.layers.{0..35} + expert.norm(动作专家)+ action_in_proj + action_out_proj(flow matching head)+ vlm.model.language_model.embed_tokens(LLM 占位)
  • 跳过完整的 36 层 LLM 主干以避开 NPU 单卡 910 OOM;用一个轻量 pool_proj 把 LLM 占位 embedding 池化到 expert 维度
  • 显式 bf16;CPU generator + .to(npu);L≤2 时跳过 attention matmul + softmax(避开 NPU vector core 异常)

2. 部署步骤

环境要求:

组件版本
Python3.11.14
torch2.9.0+cpu
torch_npu2.9.0.post1
transformers4.57.6
CANN8.5.1
Ascend NPU910 x2

权重准备:

# 假设权重已下载到 /data/dl/alpamayo-1.5-10b/(约 20GB)
ls /data/dl/alpamayo-1.5-10b/
# config.json  model-0000{1..5}-of-00005.safetensors  model.safetensors.index.json

安装依赖:

pip install -r requirements.txt

3. 推理示例

# NPU 推理(默认 torch_npu.npu.set_device(0))
python inference.py --device npu

# CPU 推理(同 seed 同输入)
python inference.py --device cpu

输出物:

文件说明
npu_output.txt / cpu_output.txt推理输出 waypoints (1, 64, 2) flatten 后的 128 个数值
npu_run.log / cpu_run.log加载时间 / 各阶段耗时 / NPU 显存峰值 / 数值统计
# 6 指标对比:cos_sim / max_abs / mean_abs / sign_agreement / rel_l2 / npu_vs_cpu_speedup
python compare.py
# -> assets/compare_result.txt

4. 实测 6 指标对比表

实测环境:CANN 8.5.1 / torch_npu 2.9.0.post1 / Ascend 910 / seed=42 / 3×224×224 输入 / bf16 / 同 seed 同输入 / flow-matching denoise 5 步。

指标NPUCPU含义 / 结果
output.shape(1, 64, 2)(1, 64, 2)64 点轨迹,每点 (x, y)
elapsed_s0.367235.5093单次推理耗时(秒)
npu_peak_mem_MB4993.71—NPU 显存峰值(MB)
cos_sim——+0.998660(flatten 输出余弦相似度,理想 +1.0;GQA attention + fp32 Euler 积分)
max_abs——0.968750(最大绝对误差)
mean_abs——0.420425(平均绝对误差)
sign_agreement——98.44%(符号一致率,理想 100%)
rel_l2——0.086688(L2 相对误差)
npu_vs_cpu_speedup——96.70×(NPU 相比 CPU 的加速比)

详细数据见 assets/compare_result.txt。

已知 NPU 修复模式(已在本仓库应用)

  1. Generator 必须在 CPU 上:NPU 不接受 torch.Generator(device="npu");用 torch.Generator(device="cpu").manual_seed(seed) 生成后再 .to(device)
  2. bf16 全程:模型 dtype=bf16;autocast(device_type="npu", dtype=torch.bfloat16)
  3. Conv3d → Conv2d 重映射:patch_embed.proj (Conv3d kernel=(2,16,16) stride=(2,16,16)) 在 NPU 上触发 vector core 异常 → 改为 Conv2d(in=6, k=16, s=16) 并把 H 拆为 2 个时间步拍到通道
  4. Action Expert 必须按真实 GQA 加载:实测 expert.layers.0.{k,v}_proj.weight=(1024,2048) 而 q_proj/o_proj=(2048,2048) → 真实 GQA (16 q heads / 8 kv heads × head_dim=128);用 repeat_interleave 把 kv 复制到 q head 数后走 SDPA
  5. ActionInProj 按 PerWaypointActionInProjV2 还原:trunk 真实顺序是 Linear(60→512) → SiLU → LayerNorm(512) → Linear(512→512) → SiLU → LayerNorm(512) → Linear(512→2048),外层 norm 维度是 2048(不是 60)
  6. Flow-matching denoise 循环:仓库自构造 TimestepEmbedder(sinusoidal + MLP → expert_dim),按 t ∈ [1, 0] 做 5 步 Euler 积分;velocity 由 action_out_proj 输出,作用于 64 个 per-waypoint 嵌入(而非只预测一个末点后 broadcast)
  7. fp32 累积 Euler 积分:velocity 与 pred_xyz 在 fp32 下做 pred += vel * dt,再 cast 回 bf16 输出;避开 bf16 在 |v|<0.1 处的符号翻转(之前 sign_agreement 从 58% → 98%)
  8. Embedding 加载避免 float()→bf16():直接在 bf16 dtype 上 copy_(slice),避免 .float().to(bf16) 在 NPU 上累积数值误差
  9. 显存统计:torch_npu.npu.reset_peak_memory_stats() + max_memory_allocated()

注意事项

  • 本仓库不依赖 trust_remote_code=True:本机出网受限拉不到 NVlabs/alpamayo1.5 的 modeling_* 与 processor_config;改为自包含 AlpamayoVLA wrapper 直接从 safetensors 加载关键权重
  • 完整复现 Alpamayo 36 层 LLM 主干推理需 ≥ 64GB NPU 显存(910B/C 64G+ 或 Atlas 300I Duo),本仓库用 910 单卡 OOM 严格约束,因此简化为「merger + expert (GQA) + action_in_proj + action_out_proj + flow-matching denoise」五段链路,保留真实 action 推理核心
  • n_diffusion_steps=5 是仓库自选折中:更多步会更接近真实 FlowMatching,但单次推理耗时线性放大;CPU 路径上 5 步 ≈ 35s,NPU 仅 0.37s