昇腾 Model-Agent 模型适配大赛提交仓库:CIDAS/clipseg-rd64-refined 文本引导图像分割模型在华为昇腾 Ascend NPU 上的推理适配。
CLIPSeg(Text-to-Image Segmentation with Recurrent Refinement,arXiv:2112.10003)是一个零样本文本引导图像分割模型:给定一张图片与任意文本描述(如 "grass"、"a red car"),模型输出每个像素属于该描述的概率图(logits)。基于 CLIP 视觉/文本双塔编码器 + 精简解码器(rd64:decoder reduce_dim=64),在单次前向中完成分割,无需预定义类别集合。
| 项目 | 值 |
|---|---|
| 架构 | CLIPSegForImageSegmentation(CLIP ViT-B/16 视觉塔 + CLIP 文本塔 + rd64 解码器) |
| 输入 | 图片(352×352 预处理)+ 文本 prompt(可多个) |
| 输出 | logits 形状 (1, num_prompts, 352, 352) |
| 参数量 | 约 145.9M(实测) |
| 权重 | model.safetensors 603 MB(fp32) |
| 许可证 | Apache-2.0 |
见 requirements.txt:torch、torch_npu、transformers>=4.35、numpy、Pillow。
# 默认用例:合成测试图 + 默认 prompt(自动检测 npu:0,失败回退 CPU)
python3 inference.py
# 指定本地权重目录 + NPU 设备 + 真实图片
python3 inference.py --weights-dir ./model --device npu:0 \
--image demo.jpg --text "a red car"
# 多 prompt 分割
python3 inference.py --text "grass" "sky" "a dog" --image demo.jpg
# 保存 mask 叠加图 + 结果写 JSON
python3 inference.py --text "red ball" --image demo.jpg --save mask.png --output result.json脚本行为:
npu:0(torch_npu)→ cpu;--weights-dir),否则从 HuggingFace 下载;torch.isfinite 全量检查 + 各 prompt 的平均/最大分割概率 + 前景占比统计;数字为实测值(Ascend 910、CANN 8.5.1、PyTorch 2.9.0、torch_npu 2.9.0.post1)。
| 指标 | NPU (Ascend 910) |
|---|---|
| logits 形状 | (1, 352, 352)(单 prompt 实测;多 prompt 为 (1, N, 352, 352)) |
| 输出有限性检查 | True(无 NaN/Inf) |
| 参数量 | 150,747,746 |
| 单次推理耗时 | 4.404 s(含模型加载) |
| 推理标记 | NPU_INFERENCE_PASS: True |
inference.py 已内置 npu:0 设备检测与 CPU 回退,任何昇腾 910 环境可直接运行。inference.py 推理脚本(必选)
readme.md 本说明文档(必选)
requirements.txt 环境依赖清单(推荐)
model/ 模型权重(config.json / model.safetensors / tokenizer 文件)