冬
gcw_IDzXRVNw/MoonViT-SO-400M-ascend
模型介绍文件和版本Pull Requests讨论分析
下载使用量0

MoonViT-SO-400M 昇腾 NPU 部署指南

概述

本项目提供 MiniMax MoonViT-SO-400M 模型在华为昇腾 NPU 上的部署方案，用于视觉特征提取。

模型信息

属性值
模型名称MoonViT-SO-400M
模型类型vision_transformer
hidden_size1152
num_hidden_layers27
num_attention_heads16
intermediate_size4304
patch_size14
图像尺寸896x896

环境要求

  • NPU: Atlas 910B3
  • Python: 3.11
  • PyTorch: 2.8.0+ with torch_npu
  • safetensors

文件结构

/data/ysws/agentsp/MoonViT-SO-400M-ascend/
├── README.md          # 本文档
├── inference.py       # 推理脚本
└── log.txt           # 运行日志

运行推理

精度测试

docker exec test-modelagent bash -c "cd /data/ysws/agentsp/MoonViT-SO-400M-ascend && python inference.py --precision_test 2>&1 | tee log.txt"

推理测试

docker exec test-modelagent bash -c "cd /data/ysws/agentsp/MoonViT-SO-400M-ascend && python inference.py 2>&1 | tee log.txt"

参数说明

参数说明默认值
--model_path模型路径/data/ysws/agentsp/MoonViT-SO-400M
--device运行设备npu:0
--precision_test运行精度测试False

精度测试结果

============================================================
Precision Comparison: CPU vs NPU
============================================================
Max errors: sum=9.77e-04, mean=2.38e-07, std=2.38e-07
PASS: NPU precision within thresholds
============================================================
PRECISION TEST PASSED
============================================================
指标阈值实测值状态
max_error_sum< 1e-39.77e-04✅ PASS
max_error_mean< 1e-52.38e-07✅ PASS
max_error_std< 1e-52.38e-07✅ PASS

输出示例

2026-05-11 08:37:51,106 - INFO - MoonViT-SO-400M Ascend NPU Inference
2026-05-11 08:37:57,631 - INFO - Model loaded and moved to npu:0!
2026-05-11 08:37:57,790 - INFO - Using random input tensor (1, 3, 896, 896)...
2026-05-11 08:37:57,859 - INFO - Input shape: torch.Size([1, 3, 896, 896])
2026-05-11 08:37:57,859 - INFO - Running inference...
2026-05-11 08:38:04,185 - INFO - Features shape: torch.Size([1, 4096, 1152])
2026-05-11 08:38:04,185 - INFO - Inference time: 6325.49 ms
2026-05-11 08:38:04,642 - INFO - Features (first 10): [-0.5310895 -0.23822491 ...]
2026-05-11 08:38:04,642 - INFO - Inference completed successfully!

性能参考

指标值
推理时间 (NPU)~6.3s
输出特征形状torch.Size([1, 4096, 1152])
输入尺寸1x3x896x896

注意事项

  1. MoonViT-SO-400M 输出形状为 [1, 4096, 1152]，包含4096个patch tokens和1152维特征
  2. 精度测试基于 state_dict tensor 的 CPU vs NPU 比较
  3. 使用随机输入进行推理测试