冬
gcw_IDzXRVNw/RMBG-1.4-ascend
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

RMBG-1.4-ascend

RMBG-1.4背景去除模型适配昇腾NPU版本。

模型简介

  • 基础模型: briaai/RMBG-1.4
  • 任务: 背景去除 (Background Removal)
  • 架构: IS-Net (Enhanced)
    • 6个stage的特征提取器
    • 多尺度预测输出
  • 参数量: 44.08M
  • 输入尺寸: 1024×1024 RGB图像
  • 输出: 多尺度分割图 + 特征图

性能表现

指标数值
推理时间~0.22s (batch_size=1)
NPU显存占用~0.9MB (峰值)

环境依赖

torch>=2.0.0
torch_npu>=2.0.0
transformers>=4.30.0
safetensors>=0.4.0
numpy>=1.21.0
pillow>=9.0.0
scikit-image>=0.19.0

分步推理流程

1. 安装依赖

cd /workspace/agent/RMBG-1.4-ascend
pip install -r requirements.txt -i https://repo.huaweicloud.com/repository/pypi/simple

2. 运行推理

cd /workspace/agent/RMBG-1.4-ascend
python inference.py --device npu:0 --show_npu_memory

3. 参数说明

  • --model_path: 模型路径,默认 /workspace/agent/RMBG-1.4
  • --device: 运行设备,默认 npu:0
  • --show_npu_memory: 显示NPU显存使用情况

测试用例与输出

测试代码

import torch
from transformers import AutoModelForImageSegmentation

device = "npu:0"
model = AutoModelForImageSegmentation.from_pretrained(
    "/workspace/agent/RMBG-1.4",
    trust_remote_code=True,
    local_files_only=True
)
model = model.to(device)
model.eval()

images = torch.randn(1, 3, 1024, 1024).to(device)
with torch.no_grad():
    output = model(images)

# output[0] 是分割结果列表
# output[1] 是特征图列表
mask = output[0][-1].sigmoid()  # 取最后一个scale的输出

完整输出

[设备] npu:0
NPU设备数量: 1
  设备 0: Ascend910B2

[模型] RMBG-1.4 (BriaRMBG)
[参数量] 44.08M
[任务] 背景去除

[模型加载]
[模型已迁移至] npu:0

构建测试输入: 随机图像 (1024x1024x3)
图像形状: torch.Size([1, 3, 1024, 1024])

运行推理...

==========================================================================
输出摘要
==========================================================================
  模型: RMBG-1.4 (BriaRMBG)
  任务: 背景去除
  输入形状: torch.Size([1, 3, 1024, 1024])
  输出类型: list/tuple, 长度: 2
  输出内容: [[6个分割图], [6个特征图]]
  总耗时: 0.22s
  输出 finite: True
  前景概率范围: [0.5000, 0.7311]
  平均前景概率: 0.7193

输出格式

模型输出2个列表:

  • output[0]: 6个多尺度分割图 (1/1, 1/2, 1/4, 1/8, 1/16, 1/32分辨率)
  • output[1]: 6个多尺度特征图

每个分割图形状为 (batch_size, 1, H, W),值域为 [0, 1],表示前景概率。

使用后处理

from PIL import Image
import torchvision.transforms as transforms
import numpy as np

# 加载图像
image = Image.open("input.jpg")
transform = transforms.Compose([
    transforms.Resize((1024, 1024)),
    transforms.ToTensor(),
])
input_tensor = transform(image).unsqueeze(0).to("npu:0")

# 推理
with torch.no_grad():
    output = model(input_tensor)

# 后处理 - 取最后一个分割结果
mask = output[0][-1].sigmoid().cpu().numpy().squeeze()
mask = (mask * 255).astype(np.uint8)

# 保存mask
pil_mask = Image.fromarray(mask)
pil_mask.save("mask.png")

# 应用到原图
image.putalpha(pil_mask)
image.save("output.png")

注意事项

  1. 模型使用transformers库加载,需设置trust_remote_code=True
  2. 预处理使用标准化 (mean=[0.5, 0.5, 0.5], std=[1.0, 1.0, 1.0])
  3. 输入图像建议Resize到1024×1024以获得最佳效果