atlasleong/alpamayo-1.5-10b-npu
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

Alpamayo-1.5-10B · Ascend NPU 推理入口

本目录是 NVIDIA Alpamayo-1.5-10B(Vision-Language-Action 自动驾驶策略模型) 在昇腾 NPU 上的交付推理入口。

模型简介

  • 参数量:约 11.08B(11078526194)
  • 架构:Alpamayo1_5
    • VLM 骨干:Cosmos-Reason2-8B(基于 Qwen3-VL-8B 的配置族),权重全部包含在本 地 checkpoint 中(vlm.* 前缀)。
    • 动作专家:Qwen3 风格的 decoder-only expert(约 2.3B 参数,非因果自注意力, 通过 SDPA 运行)。
    • 轨迹解码器:FlowMatching 扩散(Euler 积分),输出 64 个未来航点 (UnicycleAccelCurvatureActionSpace,加速度 + 曲率动作空间,10Hz × 6.4s)。
  • 输入:多相机 RGB 帧(4 相机 × 4 帧 @10Hz,约 320×576)、链式推理文本提示、 可选导航指令与 VQA、16 航点自车运动历史。
  • 输出:链式推理文本(chain-of-causation)+ 64 航点未来轨迹(位置 + 旋转)。

设备契约

本脚本只使用逻辑设备 npu:0,不会检查或修改物理可见性 (ASCEND_RT_VISIBLE_DEVICES 由工作容器统一设置)。每次运行都会打印:

INPUT_DEVICE=npu:0
MODEL_DEVICE=npu:0
OUTPUT_DEVICE=npu:0
CPU_FALLBACK=false

CPU 回退被明确禁止:模型、输入与输出均保持在 npu:0 上。

运行方式

在任务根目录执行(inference.py 通过自身路径解析 model/、qwen3vl/, 从任意工作目录运行均可):

python delivery/inference.py

交付验证阶段(2026-08-21)实际使用的固定解释器命令(exit_code=0, 耗时 24.817s,见 delivery/command.json 的 duration_seconds=24.81734312700428):

/srv/model-pipeline/jobs/.control-evidence/dependency-envs/4bc1957faa5774a7316e3f10a40833d64bda7cf1a0fb4bb1ba77607325047530/bin/python /srv/model-pipeline/jobs/Alpamayo-1.5-10B/delivery/inference.py

该解释器对应 requirements.lock.txt 的 sha256=4bc1957faa5774a7316e3f10a40833d64bda7cf1a0fb4bb1ba77607325047530; 其中 transformers==4.57.1,torch/torch_npu 由固定 Ascend 工作镜像提供。

脚本依次:

  1. 打印设备契约标记(INPUT_DEVICE=npu:0、MODEL_DEVICE=npu:0、 OUTPUT_DEVICE=npu:0、CPU_FALLBACK=false);
  2. 从 model/ 以 local_files_only=True 加载 Alpamayo1_5 权重;
  3. 从本地 qwen3vl/ 以 local_files_only=True 构建 Qwen3-VL 处理器 (替换被门控的 nvidia/Cosmos-Reason2-8B,vlm.* 权重全部在 checkpoint 内);
  4. 用固定种子(torch.manual_seed(0))的确定性合成输入跑一次 smoke 推理, 断言主输出驻留 npu:0;
  5. 打印真实输入标记 INPUT_SEQUENCE=(聊天模板后的输入 token 数),以及由真实 推理结果导出的任务语义标记 GENERATED_TEXT=(chain-of-causation 文本)、 FORECAST=(末端航点位置)、ACTION=(末端航点旋转)与状态 JSON。

目录结构

delivery/
  inference.py            # NPU 推理入口
  requirements.txt        # 运行依赖(不含 torch / torch_npu)
  README.md               # 本说明
  screenshot_request.json # 真实截图采集请求(由可信截图器执行)
  clean_run.log           # 交付 smoke 推理的干净运行日志
  model/                  # Alpamayo1_5 权重、config.json 与 LICENSE
  qwen3vl/                # 本地 Qwen3-VL 后端(config/tokenizer/processor)
  alpamayo_src/           # 经审计的 alpamayo1_5 源码(固定 commit 审计)
  assets/                 # 随包分发的模型信息资产(截图由可信截图器生成)

说明

  • attn_implementation 被固定为 sdpa,避免在昇腾 NPU 上使用 flash_attention_2。
  • 模型权重为 bfloat16;昇腾 910 不支持 fp64,全程使用 bf16。
  • 仓库中包含自定义 alpamayo1_5 远程代码;交付时随包携带并经过固定 commit 审计, 运行时不依赖 trust_remote_code=True 在线拉取。

许可证

OpenMDW-1.1(详见模型仓库 LICENSE)。

原模型仓库

  • 原仓库地址:https://ai.gitcode.com/hf_mirrors/nvidia/Alpamayo-1.5-10B
  • 固定版本:7aba8293c09993f2e125c6819df05d7fa3e873ea

真实截图证据路径

可信截图器将在正式交付阶段生成并校验以下三张真实截图;当前仅声明规范路径, 不伪造图片(采集请求见 screenshot_request.json,本阶段不创建任何 PNG):

  • assets/agent_workflow.png
  • assets/npu_device_call.png
  • assets/model_result.png

环境依赖

  • Python 3.11、torch、torch_npu 与 CANN 运行时(Ascend 910 NPU)。
  • transformers==4.57.1,其余依赖版本已在 requirements.txt 中精确固定; torch/torch_npu 由固定 Ascend 工作镜像提供,不列入 requirements。

分步推理

  1. 准备四路相机帧、运动历史和导航文本。
  2. 在 npu:0 初始化视觉语言模型与动作专家。
  3. 执行 SDPA 前向和 FlowMatching 轨迹解码。
  4. 输出链式因果文本与未来 64 个航点。

测试用例

使用任务内固定种子和合成四相机输入运行 python delivery/inference.py,检查设备标记、输出张量形状及无 CPU 回退。

输出结果

python delivery/inference.py 在昇腾 NPU(逻辑设备 npu:0)上,使用固定种子 torch.manual_seed(0) 与合成四相机输入执行一次 smoke 推理。每次运行都会打印 设备契约标记与下列任务语义标记(全部由真实推理结果导出,禁止 CPU 回退):

INPUT_DEVICE=npu:0
MODEL_DEVICE=npu:0
OUTPUT_DEVICE=npu:0
CPU_FALLBACK=false
TEST_INPUT=synthetic_multicamera_4x4
INPUT_SEQUENCE=<输入 token 数>
OUTPUT_SHAPE=[1,1,1,64,3]
GENERATED_TEXT=<chain-of-causation 文本>
FORECAST=[<末端航点 xyz>]
ACTION=[<末端航点 3×3 旋转>]
{...状态 JSON...}
path string is NULLpath string is NULL
EXIT_CODE=0

各标记说明与权威实测值(同一固定种子 seed=0 的真实 NPU 交付运行,全部引自 delivery/clean_run.log,SHA-256 b4158d0102b9b4b58ae750ef6a66719bcb35d0ff04808d7fa9888993695fd005):

  • INPUT_SEQUENCE:聊天模板后的输入 token 数。实测 3086 (与 npu_unpatched/inputs.npz 的 tokenized_data_input_ids 形状 (1, 3086) 一致)。
  • GENERATED_TEXT:VLM 生成的链式因果文本。实测 Stop due to a lack of visible road ahead。
  • FORECAST:64 航点未来轨迹的末端位置(xyz)。实测 [21.816919326782227, -0.3076627850532532, 0.0]。
  • ACTION:末端航点的 3×3 旋转矩阵(动作输出)。实测 [[0.9998952150344849, 0.014478195458650589, 0.0], [-0.014478195458650589, 0.9998952150344849, 0.0], [0.0, 0.0, 1.0]]。
  • 状态 JSON 中的 finite=true 表示主输出张量无 NaN/Inf; policy_outputs_shape=[1,1,1,64,3]、actions_shape=[1,1,1,64,3,3], forecast_final/action_final 与上述 FORECAST/ACTION 逐字一致。

权威交付运行的 delivery/clean_run.log 真实记录(SHA-256 b4158d0102b9b4b58ae750ef6a66719bcb35d0ff04808d7fa9888993695fd005,820 字节)为:

INPUT_DEVICE=npu:0
MODEL_DEVICE=npu:0
OUTPUT_DEVICE=npu:0
CPU_FALLBACK=false
INPUT_SEQUENCE=3086
TEST_INPUT=synthetic_multicamera_4x4
OUTPUT_SHAPE=[1,1,1,64,3]
GENERATED_TEXT=Stop due to a lack of visible road ahead
FORECAST=[21.816919326782227, -0.3076627850532532, 0.0]
ACTION=[[0.9998952150344849, 0.014478195458650589, 0.0], [-0.014478195458650589, 0.9998952150344849, 0.0], [0.0, 0.0, 1.0]]
{"action_final": [[0.9998952150344849, 0.014478195458650589, 0.0], [-0.014478195458650589, 0.9998952150344849, 0.0], [0.0, 0.0, 1.0]], "actions_shape": [1, 1, 1, 64, 3, 3], "cot_sample": ["Stop due to a lack of visible road ahead"], "finite": true, "forecast_final": [21.816919326782227, -0.3076627850532532, 0.0], "policy_outputs_shape": [1, 1, 1, 64, 3], "status": "ok"}
path string is NULLpath string is NULL
EXIT_CODE=0

该日志由隔离 NPU 执行器以同一固定命令(python delivery/inference.py)重新生成, delivery/command.json 记录 started_at=2026-08-21T16:22:11Z、 ended_at=2026-08-21T16:22:36Z、duration_seconds=24.81734312700428、 exit_code=0。尾随的 path string is NULL 为昇腾运行时卸载阶段的噪声输出, 不影响 EXIT_CODE=0 与 status=ok。

实测性能(NPU)

performance/performance_results.json(warmup=2、repeat=5、 synchronized=true)实测 5 次同步 rollout 延迟:

指标实测值
mean2217.046 ms
median2207.538 ms
p902243.553 ms
min2199.030 ms
max2259.609 ms
std22.527 ms

原始序列(ms):2259.609, 2199.030, 2219.470, 2207.538, 2199.583。

重复执行确定性

npu_unpatched/stage_evidence.json:fixed_seed=0、repeat_count=2, 两次前向(同一固定种子)的 max_abs_diff_across_forwards = 0.0;cpu_fallback=false、 model_device=npu:0、output_device=npu:0。

NPU-only 验收说明

本适配经明确授权跳过超出有界运行时的 10B CPU 基线。现有证据证明 Ascend NPU 功能、设备驻留、重复执行与性能,不声明 CPU/NPU 跨硬件数值等价。

Agent 使用截图

以下图片由真实 Model Agent 对话记录、npu-smi 设备日志和最终 NPU 推理日志 以无头浏览器渲染生成;每张 PNG 均有同名 .provenance.json,记录源证据哈希。

Model Agent 完整适配工作流

Model Agent 完整适配工作流

昇腾 NPU 设备调用

昇腾 NPU 设备调用

模型最终适配验收结果

模型最终适配验收结果