MODNet：昇腾NPU上的人像抠图

MODNet Architecture:
┌──────────────────────────────────────────────┐
│  Input: RGB Image [1, 3, 256, 256]           │
├──────────────────────────────────────────────┤
│  MobileNetV2 Encoder (Backbone)              │
│  ├─ s0: 1/2 scale,  16ch                    │
│  ├─ s1: 1/4 scale,  24ch                    │
│  ├─ s2: 1/8 scale,  32ch                    │
│  ├─ s3: 1/16 scale, 64ch                    │
│  ├─ s4: 1/16 scale, 96ch                    │
│  ├─ s5: 1/32 scale, 160ch                   │
│  └─ s6: 1/32 scale, 320ch                   │
├──────────────────────────────────────────────┤
│  LR Branch (Semantic)     HR Branch (Detail) │
│  ├─ conv_lr16x (1/32)     ├─ tohr_enc2x      │
│  ├─ conv_lr8x  (1/16)     ├─ tohr_enc4x      │
│  └─ upsample → 1/8        ├─ conv_enc2x      │
│                            ├─ conv_enc4x      │
│                            └─ conv_hr (refine)│
├──────────────────────────────────────────────┤
│  Fusion Branch                               │
│  ├─ conv_f (3x3)                             │
│  ├─ conv_f2x, conv_lr4x (multi-scale)        │
│  └─ conv 1x1 → Sigmoid                      │
├──────────────────────────────────────────────┤
│  Output: Alpha Matte [1, 1, 256, 256]        │
└──────────────────────────────────────────────┘

modnet_npu/
├── README.md                     # 本文件 - 部署文档与模型卡片
├── inference.py                  # 推理脚本（多后端支持）
├── run_npu_inference.py          # NPU 适配与评测一站式脚本
├── modnet_model.py               # MODNet PyTorch 模型定义
├── modnet_arch.py                # MODNet 架构分析
├── convert_onnx_to_torch.py      # ONNX → PyTorch 转换器
├── weight_extractor.py           # ONNX 权重提取工具
├── output/
│   ├── test_input.png            # 测试输入图像
│   ├── matte_ort_cpu.png         # ORT CPU 基准输出 (Alpha Matte)
│   ├── matte_npu.png             # Ascend NPU 推理输出
│   └── evaluation_report.json    # 评测报告 (JSON)
└── models/                       # (可选) 缓存的 ONNX 模型

# 使用清华镜像安装（离线环境跳过）
pip install onnx onnxruntime opencv-python-headless Pillow numpy \
    -i https://pypi.tuna.tsinghua.edu.cn/simple

# 下载模型（需要 ModelScope）
pip install modelscope
modelscope download --model onnx-community/modnet-webnn

python3 run_npu_inference.py

import numpy as np
from PIL import Image
from run_npu_inference import build_torch_model_from_onnx, preprocess, postprocess

# 加载模型
model = build_torch_model_from_onnx("path/to/model.onnx")
model.eval()

# 移动到 NPU
import torch
model = model.to(torch.device("npu:0"))

# 推理
input_data, orig_size = preprocess("input.jpg")
input_tensor = torch.from_numpy(input_data).to("npu:0")

with torch.no_grad():
    output = model(input_tensor)

# 后处理
matte = postprocess(output.cpu().numpy(), orig_size)

# 保存结果
import cv2
cv2.imwrite("output_matte.png", matte)

ORT CPU:   ████████████████████████████████  139.6ms
Ascend NPU: ████████                           32.8ms

0         50ms       100ms       150ms
|---------|----------|-----------|
                                     

# 快速验证两个输出的一致性
python3 -c "
import numpy as np, cv2
a = cv2.imread('output/matte_ort_cpu.png', 0).astype(np.float32)/255
b = cv2.imread('output/matte_npu.png', 0).astype(np.float32)/255
mae = np.mean(np.abs(a - b))
print(f'MAE: {mae:.6f} ({"PASS" if mae < 0.01 else \"FAIL\"})')
"

[1] ModelScope下载                modelscope download --model onnx-community/modnet-webnn
        │
[2] ONNX 模型分析                  解析 ONNX 图结构, 提取权重与架构信息
        │
[3] PyTorch 模型构建               基于 ONNX 权重搭建 PyTorch nn.Module
        │
[4] NPU 推理适配                  设备感知张量创建, NPU 兼容算子替换
        │                             - InstanceNorm → 手动实现 (mean/var)
        │                             - 所有张量创建指定 device=npu
        │
[5] 精度验证                      NPU vs ORT CPU, MAE < 1% ✓
        │
[6] 性能基准                      延迟/吞吐量测试, 4.25× speedup ✓

tags:
- vision                    # 视觉任务
- background-removal        # 背景移除
- portrait-matting          # 人像抠图
- ascend                    # 昇腾
- npu                       # NPU 硬件
- torch_npu                 # NPU 框架
- image-segmentation        # 图像分割
- CANN                      # 异构计算架构
- Ascend910                 # NPU 型号
- Huawei                    # 华为
- Hardware#NPU              # 硬件标签
- Task#ImageMatting         # 任务标签
- Framework#PyTorch         # 框架标签
- Backend#Ascend-NPU        # 后端标签

@inproceedings{ke2021modnet,
  title={Is a Green Screen Really Necessary for Real-Time Portrait Matting?},
  author={Ke, Zhanghan and Sun, Jiayu and Li, Kaican and Yan, Qiong and Lau, Rynson W.H.},
  booktitle={Proc. IEEE Conf. on Computer Vision and Pattern Recognition (CVPR)},
  year={2021}
}

@misc{modnet-npu-adaptation,
  title={MODNet Portrait Matting - Ascend NPU Adaptation},
  author={Model Agent},
  year={2026},
  howpublished={https://modelscope.cn/models/onnx-community/modnet-webnn},
  note={Adapted for Huawei Ascend NPU 910 with torch_npu. MAE=0.00486, 4.25× speedup vs CPU.}
}