s
stella4528/RMBG-2.0-npu
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

RMBG-2.0 (Ascend NPU 适配)

基于 briaai/RMBG-2.0(BRIA 背景移除 v2.0,BiRefNet 架构,CAAI AIR 2024)的背景移除模型,已适配在华为昇腾 Ascend 910 NPU 上直接运行(torch_npu),同时保留 CPU 回退能力。

许可证注意:模型以 CC BY-NC 4.0(知识共享署名-非商业性使用) 许可发布,仅供非商业用途;商业使用需与 BRIA 签订商业协议(https://bria.ai/)。本仓库仅作大赛演示适配,不构成商业授权。

  • 架构:BiRefNet(双向参考高分辨率二分图像分割),backbone 为带多尺度横向连接的分层编码器 + ASPP 解码 + 多尺度监督
  • 参数量:约 220.7M(754 个张量,F32+I64)
  • 权重:model.safetensors(fp32,约 844 MiB)
  • 输入:RGB 图片(内部 resize 到 1024×1024,ImageNet 归一化)
  • 输出:多尺度 mask(4 层),取最后一层 sigmoid() 得到单通道 alpha 遮罩(0~1,非二值),可按需自定义前景/背景阈值

输入 / 输出

项说明
输入任意尺寸 RGB 图片([B,3,H,W],resize 1024×1024 + Normalize([0.485,0.456,0.406]/[0.229,0.224,0.225]))
输出4 层多尺度 mask:(1,1,32,32) (1,1,64,64) (1,1,128,128) (1,1,1024,1024),末层 sigmoid() 为 alpha 遮罩
后处理mask resize 回原图尺寸,作为 alpha 通道合成透明前景 PNG(--save)

环境依赖

见 requirements.txt:torch>=2.1、torchvision、transformers>=4.30(trust_remote_code 加载 BiRefNet custom code)、pillow、numpy、kornia、timm;NPU 推理需 torch_npu(版本与 torch 匹配,如 torch 2.9.0 + torch_npu 2.9.0)。

推理示例

# NPU(自动优先;无 NPU 自动回退 CPU)
python3 inference.py --model-dir ./RMBG-2.0 --image demo.jpg

# 指定 CPU / 保存透明前景图与 JSON
python3 inference.py --image demo.jpg --save no_bg.png --output result.json
python3 inference.py --device cpu --image demo.jpg

# 无 --image 时自动生成合成测试图,保证默认用例可跑通
python3 inference.py

输出 JSON 示例:

{
  "model": "briaai/RMBG-2.0",
  "device": "npu",
  "image_size": [800, 600],
  "input_shape": [1, 3, 1024, 1024],
  "mask_shape": [1, 1, 1024, 1024],
  "num_outputs": 4,
  "mask_mean": 0.2,
  "mask_min": 0.0,
  "mask_max": 1.0,
  "fg_ratio_gt_0.5": 0.15,
  "all_finite": true,
  "latency_ms": 1500.0
}

实测验证(2026-08-21,Ascend 910)

  • 设备:Ascend 910(Ascend910_9362,CANN 8.5.1,torch 2.9.0 + torch_npu 2.9.0.post1,transformers 4.57.6,kornia 0.8.3,timm 1.0.28)
  • 精度:同一输入 CPU 与 NPU 独立进程推理对比(taskset -c 0-3 隔离 CPU 进程)——mask(末层 sigmoid 1024×1024)最大绝对差 0.001011(均值差 1e-06),前景判定(>0.5)一致率 99.9999%(1048576 像素中仅 1 像素在 0.5 阈值边界抖动:CPU 0.499814 vs NPU 0.500026,数值差 2.1e-4,属 fp32 边界效应),输出均有限,OVERALL PASS = True。
  • 性能(1024×1024 输入,单次前向):CPU 约 54.60 s vs NPU 约 11.51 s,NPU 提速约 4.7 倍。
  • 合成测试图默认用例:CPU/NPU 输出 mask 统计一致(finite、mask 范围 [0,1])。

适配说明

  1. 模型使用 trust_remote_code 加载官方 birefnet.py(BiRefNet custom code),birefnet.py / BiRefNet_config.py 已 vendored 至仓库根目录,本地离线可加载。
  2. 算子均为标准 Conv/Attention/UpSample,无需修改源码即可在 torch_npu 上运行;脚本自动探测设备(npu:0 → cpu)。
  3. 输入固定 resize 至 1024×1024(与官方用法一致),任意宽高比图片均可处理;输出 mask 会 resize 回原图尺寸。
  4. 多尺度监督输出共 4 层,推理只取最后一层(全分辨率)作为最终 alpha 遮罩。