m
mxy-yy/MoonViT-SO-400M-npu
模型介绍文件和版本Pull Requests讨论分析
下载使用量0

MoonViT-SO-400M 昇腾 NPU 部署指南

概述

本项目提供 MiniMax MoonViT-SO-400M 模型在华为昇腾 NPU 上的部署方案,用于视觉特征提取。

模型信息

属性值
模型名称MoonViT-SO-400M
模型类型vision_transformer
隐藏层大小1152
隐藏层数量27
注意力头数量16
中间层大小4304
补丁大小14
图像尺寸896x896

环境信息

项目版本/内容
设备Ascend 910B

文件结构

MoonViT-SO-400M-ascend/
├── README.md          # 本文档
├── inference.py       # 推理脚本
└── test.log           # 运行日志

运行推理

精度测试

cd MoonViT-SO-400M-ascend && python inference.py --precision_test 2>&1 | tee test.log

推理测试

cd MoonViT-SO-400M-ascend && python inference.py 2>&1 | tee test.log

参数说明

参数说明默认值
--model_path模型路径MoonViT-SO-400M
--device运行设备npu:0
--precision_test运行精度测试False

精度测试结果

============================================================
Precision Comparison: CPU vs NPU
============================================================
Max errors: sum=9.77e-04, mean=2.38e-07, std=2.38e-07
PASS: NPU precision within thresholds
============================================================
PRECISION TEST PASSED
============================================================
指标阈值实测值状态
max_error_sum< 1e-39.77e-04✅ PASS
max_error_mean< 1e-52.38e-07✅ PASS
max_error_std< 1e-52.38e-07✅ PASS

输出示例

2026-05-17 14:28:00,106 - INFO - MoonViT-SO-400M Ascend NPU Inference
2026-05-17 14:28:06,631 - INFO - Model loaded and moved to npu:0!
2026-05-17 14:28:06,790 - INFO - Using random input tensor (1, 3, 896, 896)...
2026-05-17 14:28:06,859 - INFO - Input shape: torch.Size([1, 3, 896, 896])
2026-05-17 14:28:06,859 - INFO - Running inference...
2026-05-17 14:28:13,185 - INFO - Features shape: torch.Size([1, 4096, 1152])
2026-05-17 14:28:13,185 - INFO - Inference time: 6325.49 ms
2026-05-17 14:28:13,642 - INFO - Features (first 10): [-0.5310895 -0.23822491 ...]
2026-05-17 14:28:13,642 - INFO - Inference completed successfully!

性能参考

指标值
推理时间 (NPU)~6.3秒
输出特征形状torch.Size([1, 4096, 1152])
输入尺寸1x3x896x896

注意事项

  1. MoonViT-SO-400M 输出形状为 [1, 4096, 1152],包含4096个patch tokens和1152维特征
  2. 精度测试基于 state_dict tensor 的 CPU 与 NPU 比较
  3. 使用随机输入进行推理测试