HuggingFace镜像/RAFT-stereo
模型介绍文件和版本分析
下载使用量0

RAFT-Stereo 在爱芯元智 NPU 上的部署

本仓库包含经转换的 RAFT-Stereo 模型，旨在爱芯元智 NPU 上实现高性能推理。

此版本通过 w8a16 量化进行了优化，并兼容 Pulsar2 版本 4.2。

转换工具链接

有关模型转换和部署指南：

  • 爱芯元智平台 GitHub 仓库：爱芯元智 NPU 的示例代码和优化指南。
  • Pulsar2 文档：将 ONNX 模型转换为 .axmodel 的指南。

支持平台

  • AX650N/AX8850
    • M4N-Dock(爱芯派Pro)
    • M.2 加速卡
  • AX630C
    • 爱芯派2
    • Module-LLM
    • LLM630 计算套件
  • AX637
芯片型号模型变体延迟 (毫秒)
AX650raft_steoro256x640_r1.axmodel20.9
AX650raft_steoro256x640_r4.axmodel111.8
芯片型号模型变体延迟 (毫秒)
AX630Craft_steoro256x640_r1_npu2.axmodel317.765
AX630Craft_steoro256x640_r4_npu2.axmodel825.793
芯片型号模型变体延迟 (毫秒)
AX637raft_steoro256x640_r1_npu1.axmodel61.033
AX637raft_steoro256x640_r4_npu1.axmodel99.094

使用方法

下载本仓库并确保目录结构如下所示：

├── ax630c
│   ├── raft_steoro256x640_r1.onnx
│   ├── raft_steoro256x640_r1_npu2.axmodel
│   ├── raft_steoro256x640_r4.onnx
│   └── raft_steoro256x640_r4_npu2.axmodel
├── ax650
│   ├── raft_steoro256x640_r1.axmodel
│   ├── raft_steoro256x640_r1.onnx
│   ├── raft_steoro384x1280_r4.axmodel
│   └── raft_steoro384x1280_r4.onnx
├── ax637
│   ├── raft_steoro256x640_r1_npu1.axmodel
│   └── raft_steoro256x640_r4_npu1.axmodel
├── examples
│   ├── left
│   │   ├── 000051_11.png
│   │   ├── 000058_11.png
│   │   ├── 000059_10.png
│   │   ├── 000121_10.png
│   │   ├── 000164_10.png
│   │   ├── 000167_11.png
│   │   ├── 000172_11.png
│   │   ├── 000179_10.png
│   │   ├── 000193_10.png
│   │   └── 000195_10.png
│   └── right
│       ├── 000051_11.png
│       ├── 000058_11.png
│       ├── 000059_10.png
│       ├── 000121_10.png
│       ├── 000164_10.png
│       ├── 000167_11.png
│       ├── 000172_11.png
│       ├── 000179_10.png
│       ├── 000193_10.png
│       └── 000195_10.png
├── infer.py
└── infer_onnx.py

前提条件

  1. 环境： 确保已激活所需的 Python 环境，并安装以下核心软件包：
  • NPU 运行时： axengine (PyAXEngine)
  • 核心库： numpy、opencv-python 和 matplotlib。
  1. 模型/数据： 确保主机上存在已编译的 .axmodel 和输入立体图像对。

推理命令

通过提供已编译的模型和输入数据来运行推理脚本。

python3 infer.py --left examples/left/000051_11.png --right examples/right/000051_11.png --model raft_steoro256x640_r1_npu2.axmodel --width 640 --height 256

使用AX630C主机进行推理

结果

模型生成表示场景深度的密集视差图。

(base) root@ax630c:~/data# /python3 infer.py --left examples/left/000051_11.png --right examples/right/000051_11.png --model raft_steoro256x640_r4_npu2.axmodel --width 640 --height 256
[INFO] Available providers:  ['AxEngineExecutionProvider']
[INFO] Using provider: AxEngineExecutionProvider
[INFO] Chip type: ChipType.MC20E
[INFO] VNPU type: VNPUType.DISABLED
[INFO] Engine version: 2.7.2a
[INFO] Model type: 1 (full core)
[INFO] Compiler version: 5.1-patch1-dirty e0fdc66b-dirty
Saved: output-ax.png

示例可视化