赛事: 昇腾 Model Agent 模型适配大赛(第二季) 引擎: torch_npu 硬件: Ascend 910B4 标签:
npuascendpytorchtransformers
| 属性 | 值 |
|---|---|
| 原始模型 | nvidia/Alpamayo-1.5-10B |
| 参数量 | 11.1 B |
| 任务类型 | 自动驾驶推理 VLA(文本/轨迹生成) |
| 输入格式 | 文本提示(+ 可选图像) |
| 输出格式 | 推理文本 / 轨迹 token |
Alpamayo 1.5 是 NVIDIA 面向自动驾驶的 10B 链式推理 VLA 模型,基于 Cosmos-Reason2-8B(Qwen3-VL)骨干,输出推理文本与轨迹 token。本适配在 昇腾 NPU(Ascend 910B4)上完成文本/轨迹生成推理。
⚠️ 说明:视觉编码路径在 NPU 存在算子限制(aicpu 异常),本交付以 文本/轨迹生成(绕过视觉编码)作为 NPU 验证;完整视觉 VLA 推理需 在支持 CUDA 的环境运行。
⚠️ 本仓库不包含模型权重(交付件仅
inference.py/readme.md/requirements.txt/assets/+src/), 推理前须下载 Alpamayo 权重 + Qwen3-VL-8B 基座(脚本自动下载基座)。
huggingface-cli download nvidia/Alpamayo-1.5-10B --local-dir ./ --local-dir-use-symlinks False
pip install -r requirements.txt -i https://repo.huaweicloud.com/repository/pypi/simple/python3 inference.py --model_path . --input "Describe the traffic scene." --device npu:0首次运行自动下载
Qwen/Qwen3-VL-8B-Instruct基座到qwen3vl-8b/。
python3 inference.py --model_path . --input "What should the ego vehicle do?" --max_new_tokens 32 --device npu:0预期输出:
[Model Agent] NPU 设备就绪: Ascend910B4 (count=1)
[Model Agent] 模型加载完成 -> npu:0 (11.1B params)
[Model Agent] 生成文本 (32 tokens):
<i1503><i1503>... (轨迹 token)
[Model Agent] 推理时延: 3319.3 ms.
├── inference.py # NPU 推理脚本
├── readme.md # 本文件
├── requirements.txt # 依赖清单
├── assets/ # 截图素材
└── src/alpamayo1_5/ # Alpamayo 建模源码(vendor + NPU 补丁)本模型由 昇腾 Model Agent 自动完成 NPU 适配:
src/alpamayo1_5/;补丁:①所有子模块
加载加 local_files_only;②vlm_name_or_path 指向本地 Qwen3-VL 基座;
③tie_weights 兼容 transformers 5.x;④attn_implementation="eager"
(NPU 不支持 flash_attention_2)。