K-ON111111/Alpamayo-1.5-10B
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

Alpamayo-1.5-10B — 昇腾 NPU 适配模型

赛事: 昇腾 Model Agent 模型适配大赛(第二季) 引擎: torch_npu 硬件: Ascend 910B4 标签: npu ascend pytorch transformers

📖 模型简介

属性值
原始模型nvidia/Alpamayo-1.5-10B
参数量11.1 B
任务类型自动驾驶推理 VLA(文本/轨迹生成)
输入格式文本提示(+ 可选图像)
输出格式推理文本 / 轨迹 token

Alpamayo 1.5 是 NVIDIA 面向自动驾驶的 10B 链式推理 VLA 模型,基于 Cosmos-Reason2-8B(Qwen3-VL)骨干,输出推理文本与轨迹 token。本适配在 昇腾 NPU(Ascend 910B4)上完成文本/轨迹生成推理。

⚠️ 说明:视觉编码路径在 NPU 存在算子限制(aicpu 异常),本交付以 文本/轨迹生成(绕过视觉编码)作为 NPU 验证;完整视觉 VLA 推理需 在支持 CUDA 的环境运行。

🔧 环境依赖

⚠️ 本仓库不包含模型权重(交付件仅 inference.py / readme.md / requirements.txt / assets/ + src/), 推理前须下载 Alpamayo 权重 + Qwen3-VL-8B 基座(脚本自动下载基座)。

huggingface-cli download nvidia/Alpamayo-1.5-10B --local-dir ./ --local-dir-use-symlinks False
pip install -r requirements.txt -i https://repo.huaweicloud.com/repository/pypi/simple/

🚀 推理步骤

python3 inference.py --model_path . --input "Describe the traffic scene." --device npu:0

首次运行自动下载 Qwen/Qwen3-VL-8B-Instruct 基座到 qwen3vl-8b/。

🧪 测试用例

python3 inference.py --model_path . --input "What should the ego vehicle do?" --max_new_tokens 32 --device npu:0

预期输出:

[Model Agent] NPU 设备就绪: Ascend910B4 (count=1)
[Model Agent] 模型加载完成 -> npu:0 (11.1B params)
[Model Agent] 生成文本 (32 tokens):
<i1503><i1503>... (轨迹 token)
[Model Agent] 推理时延: 3319.3 ms

📁 目录结构

.
├── inference.py          # NPU 推理脚本
├── readme.md             # 本文件
├── requirements.txt      # 依赖清单
├── assets/               # 截图素材
└── src/alpamayo1_5/      # Alpamayo 建模源码(vendor + NPU 补丁)

📝 适配说明

本模型由 昇腾 Model Agent 自动完成 NPU 适配:

  • 代码迁移: Alpamayo 源码 vendor 至 src/alpamayo1_5/;补丁:①所有子模块 加载加 local_files_only;②vlm_name_or_path 指向本地 Qwen3-VL 基座; ③tie_weights 兼容 transformers 5.x;④attn_implementation="eager" (NPU 不支持 flash_attention_2)。
  • 验证: Ascend 910B4 上文本/轨迹生成正常。