基于 briaai/RMBG-2.0(BRIA 背景移除 v2.0,BiRefNet 架构,CAAI AIR 2024)的背景移除模型,已适配在华为昇腾 Ascend 910 NPU 上直接运行(torch_npu),同时保留 CPU 回退能力。
许可证注意:模型以 CC BY-NC 4.0(知识共享署名-非商业性使用) 许可发布,仅供非商业用途;商业使用需与 BRIA 签订商业协议(https://bria.ai/)。本仓库仅作大赛演示适配,不构成商业授权。
BiRefNet(双向参考高分辨率二分图像分割),backbone 为带多尺度横向连接的分层编码器 + ASPP 解码 + 多尺度监督model.safetensors(fp32,约 844 MiB)sigmoid() 得到单通道 alpha 遮罩(0~1,非二值),可按需自定义前景/背景阈值| 项 | 说明 |
|---|---|
| 输入 | 任意尺寸 RGB 图片([B,3,H,W],resize 1024×1024 + Normalize([0.485,0.456,0.406]/[0.229,0.224,0.225])) |
| 输出 | 4 层多尺度 mask:(1,1,32,32) (1,1,64,64) (1,1,128,128) (1,1,1024,1024),末层 sigmoid() 为 alpha 遮罩 |
| 后处理 | mask resize 回原图尺寸,作为 alpha 通道合成透明前景 PNG(--save) |
见 requirements.txt:torch>=2.1、torchvision、transformers>=4.30(trust_remote_code 加载 BiRefNet custom code)、pillow、numpy、kornia、timm;NPU 推理需 torch_npu(版本与 torch 匹配,如 torch 2.9.0 + torch_npu 2.9.0)。
# NPU(自动优先;无 NPU 自动回退 CPU)
python3 inference.py --model-dir ./RMBG-2.0 --image demo.jpg
# 指定 CPU / 保存透明前景图与 JSON
python3 inference.py --image demo.jpg --save no_bg.png --output result.json
python3 inference.py --device cpu --image demo.jpg
# 无 --image 时自动生成合成测试图,保证默认用例可跑通
python3 inference.py输出 JSON 示例:
{
"model": "briaai/RMBG-2.0",
"device": "npu",
"image_size": [800, 600],
"input_shape": [1, 3, 1024, 1024],
"mask_shape": [1, 1, 1024, 1024],
"num_outputs": 4,
"mask_mean": 0.2,
"mask_min": 0.0,
"mask_max": 1.0,
"fg_ratio_gt_0.5": 0.15,
"all_finite": true,
"latency_ms": 1500.0
}taskset -c 0-3 隔离 CPU 进程)——mask(末层 sigmoid 1024×1024)最大绝对差 0.001011(均值差 1e-06),前景判定(>0.5)一致率 99.9999%(1048576 像素中仅 1 像素在 0.5 阈值边界抖动:CPU 0.499814 vs NPU 0.500026,数值差 2.1e-4,属 fp32 边界效应),输出均有限,OVERALL PASS = True。trust_remote_code 加载官方 birefnet.py(BiRefNet custom code),birefnet.py / BiRefNet_config.py 已 vendored 至仓库根目录,本地离线可加载。torch_npu 上运行;脚本自动探测设备(npu:0 → cpu)。