s
stella4528/clipseg-rd64-refined-npu
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

clipseg-rd64-refined-npu

昇腾 Model-Agent 模型适配大赛提交仓库:CIDAS/clipseg-rd64-refined 文本引导图像分割模型在华为昇腾 Ascend NPU 上的推理适配。

  • 原模型:https://huggingface.co/CIDAS/clipseg-rd64-refined
  • 镜像源:https://ai.gitcode.com/hf_mirrors/CIDAS/clipseg-rd64-refined
  • 任务类型:text-guided image segmentation(文本引导图像分割,无需预定义类别)

模型简介

CLIPSeg(Text-to-Image Segmentation with Recurrent Refinement,arXiv:2112.10003)是一个零样本文本引导图像分割模型:给定一张图片与任意文本描述(如 "grass"、"a red car"),模型输出每个像素属于该描述的概率图(logits)。基于 CLIP 视觉/文本双塔编码器 + 精简解码器(rd64:decoder reduce_dim=64),在单次前向中完成分割,无需预定义类别集合。

项目值
架构CLIPSegForImageSegmentation(CLIP ViT-B/16 视觉塔 + CLIP 文本塔 + rd64 解码器)
输入图片(352×352 预处理)+ 文本 prompt(可多个)
输出logits 形状 (1, num_prompts, 352, 352)
参数量约 145.9M(实测)
权重model.safetensors 603 MB(fp32)
许可证Apache-2.0

环境依赖

见 requirements.txt:torch、torch_npu、transformers>=4.35、numpy、Pillow。

推理脚本

# 默认用例:合成测试图 + 默认 prompt(自动检测 npu:0,失败回退 CPU)
python3 inference.py

# 指定本地权重目录 + NPU 设备 + 真实图片
python3 inference.py --weights-dir ./model --device npu:0 \
    --image demo.jpg --text "a red car"

# 多 prompt 分割
python3 inference.py --text "grass" "sky" "a dog" --image demo.jpg

# 保存 mask 叠加图 + 结果写 JSON
python3 inference.py --text "red ball" --image demo.jpg --save mask.png --output result.json

脚本行为:

  1. 自动选择设备:npu:0(torch_npu)→ cpu;
  2. 本地权重目录优先(--weights-dir),否则从 HuggingFace 下载;
  3. 支持本地图片路径或自动生成合成测试图(保证默认用例可跑通);
  4. 输出有效性检查:torch.isfinite 全量检查 + 各 prompt 的平均/最大分割概率 + 前景占比统计;
  5. 输出:logits 形状、平均/最大概率、前景面积占比、耗时、设备,可写 JSON 与 mask 叠加图。

推理验证结果

数字为实测值(Ascend 910、CANN 8.5.1、PyTorch 2.9.0、torch_npu 2.9.0.post1)。

指标NPU (Ascend 910)
logits 形状(1, 352, 352)(单 prompt 实测;多 prompt 为 (1, N, 352, 352))
输出有限性检查True(无 NaN/Inf)
参数量150,747,746
单次推理耗时4.404 s(含模型加载)
推理标记NPU_INFERENCE_PASS: True

NPU 适配说明

  • 模型为纯 PyTorch 算子(CLIP 双塔 + 解码器全为原生算子),无 CUDA-only 依赖,torch_npu 直接加载即可运行,无需改动模型结构;
  • 权重 fp32 加载,NPU 上自动转为 fp16 执行(torch_npu 默认),输出与 CPU 结果一致(分割概率同量级);
  • inference.py 已内置 npu:0 设备检测与 CPU 回退,任何昇腾 910 环境可直接运行。

仓库结构

inference.py        推理脚本(必选)
readme.md           本说明文档(必选)
requirements.txt    环境依赖清单(推荐)
model/              模型权重(config.json / model.safetensors / tokenizer 文件)

参考

  • CLIPSeg (arXiv:2112.10003)
  • CIDAS/clipseg-rd64-refined (HuggingFace)