面向端侧的高效多模态模型,支持单图、多图和视频理解;本交付验证单图描述。 本仓库使用 torch_npu 在昇腾 910B4-1 上完成真实端到端推理,禁止 CPU 静默回退。
apache-2.0image-text-to-textnpu:7https://mirrors.aliyun.com/pypi/simple/顶层依赖(requirements.txt):
| 包 | 版本 | 说明 |
|---|---|---|
| transformers | 5.15.1 | 包含 MiniCPMV4_6 模型类 |
| tokenizers | 0.22.2 | 必须固定:0.23.x 在 aarch64 加载 AutoProcessor 时触发 std::length_error vector::reserve C++ 崩溃 |
| torchvision | 0.24.0 | 匹配容器内 torch 2.9.0 |
| Pillow | 12.3.0 | 图像预处理 |
| av | 18.1.0 | 视频解码依赖 |
可复现依赖修复说明:原
requirements.txt使用transformers==5.15.1但未固定tokenizers,pip 默认解析到tokenizers>=0.23.0,在 aarch64 上加载本模型AutoProcessor时 C++ 崩溃std::length_error vector::reserve。将tokenizers固定为0.22.2(满足transformers==5.15.1的>=0.22.0,<=0.23.0约束)后, 处理器与模型均可正常加载并在 NPU 完成推理。transformers==5.2.0因缺少MiniCPMV4_6模型/处理器类,无法完成本模型推理,故未采用。
安装上层依赖:
python3 -m venv --system-site-packages .venv
source .venv/bin/activate
export PIP_INDEX_URL=https://mirrors.aliyun.com/pypi/simple/
export PIP_TRUSTED_HOST=mirrors.aliyun.com
pip install -r requirements.txtmodel/,或用 MODEL_DIR/--model-dir 指向该固定版本。source /usr/local/Ascend/ascend-toolkit/set_env.sh。python inference.py --device npu:7脚本会校验 NPU 可用性和张量/模型放置,失败时返回非零退出码。结构化结果写入 logs/npu_result.json,运行日志写入
logs/npu_inference.log,npu-smi 设备调用证据(含推理 PID 的 HBM/进程内存采样)写入 logs/npu_device_call.log。
36f34a661a4bd35d0dc2294cb044d2584646c7d3ae1f42d517adbcb9d5b56c79ed050dc56aabc2f5f3e8d61fd0b5c43003b8ec0apython inference.py --model-dir /work/pipeline/models/minicpm-v-4.6 --device npu:7input_device=npu:7, model_device=npu:7, output_device=npu:7, params_on_device=npu:7, input_ids=npu:7, attention_mask=npu:7, pixel_values=npu:7, target_sizes=npu:73390902,npu-smi 显示该 PID 进程内存峰值约 3025 MB,NPU 7 HBM 使用峰值约 6363 MB25.7 s(其中生成 7.3 s)0The image displays a red circle and a blue square, positioned separately on a white background.完整输出、模型权重大小/SHA256、输入形状与版本信息见 logs/npu_result.json、logs/npu_inference.log 和
logs/npu_inference_raw.log。



requirements.txt 只声明上层依赖,torch/torch_npu 使用 CANN 容器内匹配版本;tokenizers==0.22.2 必须固定以保证可复现。以下截图是本次适配保存的 ModelAgent 流式会话记录的只读回放,已脱敏;截图中的模型、设备、服务端环境、命令、问题定位和验收结论均来自本次真实脱敏会话日志。
