atlasleong/minicpm-v-4.6-npu
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

MiniCPM-V-4.6 昇腾 NPU 适配

模型简介

面向端侧的高效多模态模型,支持单图、多图和视频理解;本交付验证单图描述。 本仓库使用 torch_npu 在昇腾 910B4-1 上完成真实端到端推理,禁止 CPU 静默回退。

原模型仓库

  • 原仓库地址:https://huggingface.co/openbmb/MiniCPM-V-4.6
  • AtomGit 镜像:https://ai.gitcode.com/hf_mirrors/openbmb/MiniCPM-V-4.6
  • 固定版本:36f34a661a4bd35d0dc2294cb044d2584646c7d3
  • 上游许可证:apache-2.0
  • 推理任务:image-text-to-text

环境依赖清单

  • Python 3.11.14
  • CANN 8.5.1,驱动 25.5.1
  • torch 2.9.0+cpu 与 torch_npu 2.9.0(由 CANN 容器提供,不能用普通 PyPI 轮子替换)
  • NPU:Ascend910B4-1,验收设备 npu:7
  • pip 镜像:https://mirrors.aliyun.com/pypi/simple/

顶层依赖(requirements.txt):

包版本说明
transformers5.15.1包含 MiniCPMV4_6 模型类
tokenizers0.22.2必须固定:0.23.x 在 aarch64 加载 AutoProcessor 时触发 std::length_error vector::reserve C++ 崩溃
torchvision0.24.0匹配容器内 torch 2.9.0
Pillow12.3.0图像预处理
av18.1.0视频解码依赖

可复现依赖修复说明:原 requirements.txt 使用 transformers==5.15.1 但未固定 tokenizers,pip 默认解析到 tokenizers>=0.23.0,在 aarch64 上加载本模型 AutoProcessor 时 C++ 崩溃 std::length_error vector::reserve。将 tokenizers 固定为 0.22.2(满足 transformers==5.15.1 的 >=0.22.0,<=0.23.0 约束)后, 处理器与模型均可正常加载并在 NPU 完成推理。transformers==5.2.0 因缺少 MiniCPMV4_6 模型/处理器类,无法完成本模型推理,故未采用。

安装上层依赖:

python3 -m venv --system-site-packages .venv
source .venv/bin/activate
export PIP_INDEX_URL=https://mirrors.aliyun.com/pypi/simple/
export PIP_TRUSTED_HOST=mirrors.aliyun.com
pip install -r requirements.txt

分步推理操作流程

  1. 下载原模型固定版本到仓库内 model/,或用 MODEL_DIR/--model-dir 指向该固定版本。
  2. 加载环境:source /usr/local/Ascend/ascend-toolkit/set_env.sh。
  3. 进入本仓库根目录,执行:
python inference.py --device npu:7

脚本会校验 NPU 可用性和张量/模型放置,失败时返回非零退出码。结构化结果写入 logs/npu_result.json,运行日志写入 logs/npu_inference.log,npu-smi 设备调用证据(含推理 PID 的 HBM/进程内存采样)写入 logs/npu_device_call.log。

完整测试用例

  • 模型版本:36f34a661a4bd35d0dc2294cb044d2584646c7d3
  • 测试输入:self-generated deterministic synthetic image (PIL, fixed seed); no copyrighted content
  • 输入 SHA256:ae1f42d517adbcb9d5b56c79ed050dc56aabc2f5f3e8d61fd0b5c43003b8ec0a
  • 执行命令:python inference.py --model-dir /work/pipeline/models/minicpm-v-4.6 --device npu:7
  • 设备放置:input_device=npu:7, model_device=npu:7, output_device=npu:7, params_on_device=npu:7, input_ids=npu:7, attention_mask=npu:7, pixel_values=npu:7, target_sizes=npu:7
  • 推理 PID:3390902,npu-smi 显示该 PID 进程内存峰值约 3025 MB,NPU 7 HBM 使用峰值约 6363 MB
  • 耗时:约 25.7 s(其中生成 7.3 s)
  • 退出码:0

输出结果

The image displays a red circle and a blue square, positioned separately on a white background.

完整输出、模型权重大小/SHA256、输入形状与版本信息见 logs/npu_result.json、logs/npu_inference.log 和 logs/npu_inference_raw.log。

Agent 与 NPU 验收截图

Agent 完整适配工作流

Agent 完整适配工作流

NPU 硬件设备调用日志

NPU 硬件设备调用日志

模型最终适配验收结果

模型最终适配验收结果

限制与说明

  • 线性注意力使用纯 PyTorch 回退实现;个别 ArgSort 会落到 AiCPU,影响性能但不影响正确性。
  • 模型权重不随本适配仓库重复上传;必须使用上方固定版本并保持权重 SHA256 与结果日志一致。
  • requirements.txt 只声明上层依赖,torch/torch_npu 使用 CANN 容器内匹配版本;tokenizers==0.22.2 必须固定以保证可复现。

适配依据

  • ModelAgent 完整交互记录(已脱敏)
  • AI4Science/AscendSkills 通用 NPU 迁移能力
  • SLAI/SLAI-AscendBridge2 适配与检查规范

ModelAgent 现场会话界面

以下截图是本次适配保存的 ModelAgent 流式会话记录的只读回放,已脱敏;截图中的模型、设备、服务端环境、命令、问题定位和验收结论均来自本次真实脱敏会话日志。

ModelAgent 现场会话界面