g
gcw_coj3XaOd/Alpamayo-R1-10B
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

nvidia/Alpamayo-R1-10B - 昇腾 NPU 推理部署

1. 模型简介

模型名称: nvidia/Alpamayo-R1-10B (Alpamayo 1)

模型链接: HuggingFace

模型描述: Alpamayo 1 是 NVIDIA 推出的 Vision-Language-Action (VLA) 模型,将 Chain-of-Causation 推理与轨迹规划相结合,用于复杂自动驾驶场景的决策。基于 Qwen3-VL-8B VLM backbone 和扩散式动作解码器。

模型架构: VLA (Vision-Language-Action) - Qwen3-VL-8B + Diffusion Expert

参数规模: ~10.5B (VLM backbone: 8.2B + Action Expert: 2.3B)

输入规格:

  • 多摄像头图像:4 个摄像头(front-wide, front-tele, cross-left, cross-right),每摄像头 4 帧,分辨率 1080x1920(下采样至 320x576)
  • 文本:驾驶指令(Chain-of-Causation 推理提示)
  • 自车运动历史:(x, y, z) 平移 + 3x3 旋转矩阵,16 waypoints @ 10Hz

输出规格:

  • 文本:Chain-of-Causation 推理轨迹(变长)
  • 未来轨迹:64 waypoints @ 10Hz,6.4 秒,ego 坐标系 (x, y, z) + R_rot

2. 环境依赖

依赖项版本要求说明
Python>= 3.10推荐 3.11
torch>= 2.1.0PyTorch 框架
torch_npu>= 2.1.0昇腾 NPU 后端
transformers>= 4.50.0HuggingFace Transformers(需支持 Qwen3-VL)
accelerate>= 0.25.0模型设备映射
einops>= 0.8.0张量操作
hydra-core>= 1.3.0配置管理
pillow>= 10.0.0图像处理
numpy>= 1.24.0数值计算
scipylatest科学计算
sentencepiece>= 0.1.99Tokenizer
昇腾驱动CANN 8.5.1已验证版本
NPU 硬件Ascend 9101+ 卡(64GB HBM)

安装命令:

# 1. 安装 PyTorch 和 torch_npu(昇腾 NPU 后端)
pip install torch torch-npu

# 2. 安装 Transformers(需支持 Qwen3-VL)
pip install transformers>=4.50.0 accelerate

# 3. 安装其他依赖
pip install einops hydra-core pillow numpy scipy sentencepiece

# 4. 安装 Alpamayo 源代码
git clone https://github.com/NVlabs/alpamayo.git
cd alpamayo
PYTHONPATH=src:$PYTHONPATH pip install -e .

3. 推理步骤

3.1 环境准备

# 加载 CANN 环境变量(必须在运行 Python 前执行)
source /usr/local/Ascend/cann-8.5.1/set_env.sh

# 禁用 torch dynamo(避免 NPU 跨设备图编译问题)
export TORCHDYNAMO_DISABLE=1

# 检查 NPU 设备
npu-smi info

# 验证 torch_npu
python3 -c "import torch_npu; print(torch.npu.device_count(), torch.npu.get_device_name(0))"

3.2 模型下载

方式一:HuggingFace(推荐)

huggingface-cli download nvidia/Alpamayo-R1-10B --local-dir /path/to/Alpamayo-R1-10B

方式二:AtomGit 镜像(HuggingFace 下载慢时使用)

# AtomGit 镜像地址:
# https://ai.gitcode.com/hf_mirrors/nvidia/Alpamayo-R1-10B

3.3 NPU 适配修改

本模型为 VLA 模型,需要在源码层面进行以下修改以在昇腾 NPU 上运行:

修改项原始代码修改后
注意力实现flash_attention_2sdpa
设备映射.to("cuda").to("npu:0")
autocasttorch.autocast("cuda")torch.autocast("npu")
cholesky dtype直接调用先 .float() 转 FP32
output_logitsTrueFalse(避免 FP32 跨设备 cast)

3.4 运行推理

source /usr/local/Ascend/cann-8.5.1/set_env.sh
export TORCHDYNAMO_DISABLE=1
export PYTHONPATH="/path/to/alpamayo/src:${PYTHONPATH}"

# 基础推理(VLM on NPU:0, expert+diffusion on CPU)
python inference.py \
  --model-path /path/to/Alpamayo-R1-10B \
  --num-traj-samples 1

# 多轨迹采样
python inference.py \
  --model-path /path/to/Alpamayo-R1-10B \
  --num-traj-samples 6 \
  --max-generation-length 256

3.5 推理参数说明

参数类型默认值说明
--model-pathstr必填模型 checkpoint 路径
--dtypestrbfloat16推理精度
--num-traj-samplesint1轨迹采样数
--temperaturefloat0.6采样温度
--top-pfloat0.98Top-p 采样参数
--max-generation-lengthint128VLM 最大生成长度
--seedint42随机种子

4. 推理成功日志

4.1 真实权重推理验证

$ python3 inference.py --model-path /tmp/.../nvidia_Alpamayo-R1-10B

=== Alpamayo-R1-10B Inference on Ascend NPU ===
Model path: /tmp/.../nvidia_Alpamayo-R1-10B
NPU devices: 2
NPU device name: Ascend910_9362
Dtype: bfloat16
Config: VLM on NPU:0, expert+diffusion on CPU

[Step 1] Loading model...
  Model loaded in 50.4s
  Total parameters: 10,534,841,405
  VLM backbone: Qwen3-VL-8B (SDPA attention, NPU:0)
  Expert model: Qwen2.5-based (2.3B params, CPU)
  Diffusion decoder: FlowMatching (CPU)
  [OK] Model loaded

[Step 2] Preparing input data...
  Created 16 dummy images (4 cameras x 4 frames)
  Egomotion history: xyz=(1, 1, 16, 3), rot=(1, 1, 16, 3, 3)
  [OK] Input data prepared

[Step 3] Running VLA inference...
  Inference time: 139.70s
  Predicted XYZ shape: torch.Size([1, 1, 1, 64, 3])
  Predicted ROT shape: torch.Size([1, 1, 1, 64, 3, 3])

Chain-of-Causation Reasoning:
  Sample 0: Keep at the center of the lane to continue driving since no critical agent needs attention.

Trajectory Prediction:
  WP[0]: x=-0.2471, y=0.0000, z=-0.1963
  WP[1]: x=-0.4980, y=0.0001, z=-0.1963
  WP[2]: x=-0.7500, y=0.0001, z=-0.1963
  WP[3]: x=-1.0078, y=0.0002, z=-0.1963
  WP[4]: x=-1.2656, y=0.0003, z=-0.1963

[SUCCESS] Inference completed on Ascend NPU
  Model: nvidia/Alpamayo-R1-10B
  Device: Ascend910_9362 (npu:0)
  Dtype: bfloat16
  Load time: 50.4s
  Inference time: 139.70s

5. 测试样例及输出结果

样例 1:真实权重端到端推理

运行命令:

source /usr/local/Ascend/cann-8.5.1/set_env.sh
export TORCHDYNAMO_DISABLE=1
export PYTHONPATH="/path/to/alpamayo/src:${PYTHONPATH}"

python inference.py \
  --model-path /path/to/Alpamayo-R1-10B \
  --num-traj-samples 1 \
  --max-generation-length 128

输出:

[Step 1] Loading model...
  Model loaded in 50.4s
  VLM backbone: Qwen3-VL-8B (SDPA attention, NPU:0)
  Expert model: Qwen2.5-based (2.3B params, CPU)
  [OK] Model loaded

[Step 3] Running VLA inference...
  Inference time: 139.70s
  Predicted XYZ shape: torch.Size([1, 1, 1, 64, 3])
  Predicted ROT shape: torch.Size([1, 1, 1, 64, 3, 3])

Chain-of-Causation Reasoning:
  Sample 0: Keep at the center of the lane to continue driving since no critical agent needs attention.

Trajectory Preview:
  WP[0]: x=-0.2471, y=0.0000, z=-0.1963
  WP[1]: x=-0.4980, y=0.0001, z=-0.1963
  ...

[SUCCESS] Inference completed on Ascend NPU

6. Agent适配截图

6.1 Agent 完整适配工作流

Agent 适配流程

6.2 NPU 设备调用日志

NPU 设备调用

6.3 模型适配结果

模型适配结果


7. 精度评测

测试数据: PhysicalAI-AV-NuRec 数据集(910 场景用于 open-loop 评估)

评测指标:

指标结果Baseline说明
minADE@6.4s<模型输出>1.22m (PhysicalAI-AV)平均位移误差
AlpaSim Score<模型输出>0.73 (PhysicalAI-AV-NuRec)仿真评分

评测命令:

python inference.py \
  --model-path /path/to/Alpamayo-R1-10B \
  --num-traj-samples 6 \
  --max-generation-length 256

8. NPU 配置说明

  • NPU 卡数: 1 x Ascend910_9362 (64GB HBM)
  • 模型分区: VLM 前半部分(20层+视觉编码器)on NPU:0, 后半部分+Expert+Diffusion on CPU
  • CANN 版本: 8.5.1
  • 注意力实现: SDPA (Scaled Dot-Product Attention)
  • 混合精度: bfloat16 autocast
  • 特殊环境变量: TORCHDYNAMO_DISABLE=1

9. 已知问题

  1. Flash Attention 2 不兼容: 原始模型使用 flash_attention_2(CUDA 专用),已替换为 sdpa(昇腾 NPU 原生支持)。
  2. Python 版本要求: 源代码要求 Python 3.12,昇腾环境使用 Python 3.11,通过 PYTHONPATH 直接引用源码运行。
  3. cholesky CPU Fallback: LAPACK cholesky 分解在 NPU 上不支持 BFloat16,已添加 .float() 转换。
  4. 扩散采样随机性: VLA 模型的扩散解码器产生随机输出,多次运行结果可能不同。
  5. 多摄像头输入: 推理脚本使用随机图像作为占位,实际使用需替换为真实摄像头数据。