y
yjy073/multi-modal_clip-vit-huge-patch14_zh-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

multi-modal_clip-vit-huge-patch14_zh on Ascend NPU

AtomGit 侧模型名 multi-modal_clip-vit-huge-patch14_zh,其真实权重标识为 ModelScope AI-ModelScope/chinese-clip-vit-huge-patch14(revision Revision:master,CreatedAt:1728551124)。

1. 模型简介

Chinese-CLIP 中英双语图文双塔(ViT-H/14),参数量 957.6M,fp32 权重目录 7.14 GB。 实测结构(读自本地 config.json):vision clip_vision_model(layers=32, hidden=1280, patch=14, image=224)、text chinese_clip_text_model(layers=24, hidden=1024)、 projection_dim=1024;模型目录内自定义 Python 文件数 = 0,无需 trust_remote_code。

任务类型为零样本图文匹配(双塔):输出 image/text embedding、相似度与候选文本排序, 不使用图像分类 Top-5 口径。

2. 验证环境

项值
环境昇腾算力容器(pod-ecc17223f3234edbbc5ccd936d8cc2f3),非 root
NPUAscend910_9362,单卡 npu:0(ASCEND_RT_VISIBLE_DEVICES=0),HBM 64 GB
npu-smi25.5.5;空载时约 3.1/2.9 GB HBM 为他方容器占用,已记入基线,不计入本模型开销
CANN8.5.1
Python3.11.14
torch / torch_npu2.9.0+cpu / 2.9.0.post1+gitee7ba04
transformers4.57.6
权重加载本地目录加载(CLIP_MODEL_DIR 指向已下载权重,正式推理不依赖运行时下载)

3. 安装依赖

pip install -r requirements.txt
# 权重(约 7.1 GB,含 .pt 与 .bin 两份)
python -c "from modelscope import snapshot_download; print(snapshot_download('AI-ModelScope/chinese-clip-vit-huge-patch14'))"

4. NPU 推理

export CLIP_MODEL_DIR=<本地权重目录>
# 例:/opt/atomgit/clip/models/models/AI-ModelScope/chinese-clip-vit-huge-patch14
export CLIP_TEST_IMAGE=/opt/atomgit/test_data/test1.jpg   # 可选,默认即此图

python inference.py                    # 验证模式(默认):真实 npu:0 推理 + 一致性判定
python inference.py --mode benchmark   # 性能模式:预热 3 + 正式 10

inference.py 默认执行即完成一次真实 NPU 推理,并打印模型、任务、后端、device、dtype、 输入摘要、完整候选排序、同步后的耗时与最终 RESULT;异常时返回非零退出码。

5. 真实推理结果

运行条件:dtype=torch.bfloat16,device=npu:0,param dev={'npu'},batch=1。

输入:/opt/atomgit/test_data/test1.jpg(JPEG 512×512,91814 B,sha256=7de7ed51a1594fff)。

候选文本(5 条)与实测相似度(cos = logits_per_image / 100):

排名候选文本cos
1一位戴着帽子的女士的肖像0.2837
2一张年轻女性的照片0.2262
3一只猫的照片0.1400
4一盘食物的照片0.1256
5一片自然风景照片0.1144

Top-1 = 一位戴着帽子的女士的肖像(与图像实际内容一致)。首次前向 247.6 ms(含图编译), 峰值 HBM 1.80 GB,RESULT: PASS。

6. CPU-NPU 一致性验证

口径说明:单样本 smoke consistency(1 张图 × 5 条候选文本),不是完整数据集精度评测。 CPU 侧 fp32 锚点由同一权重、同一输入、同一 processor 生成并落盘为 logs/cpu_baseline.npz。

对比image_embeds cosinetext_embeds cosine候选排序判定
NPU fp32 vs CPU fp32(阈值 ≥0.9999)0.999999880.999999175/5 完全一致PASS
NPU bf16 vs CPU fp32(阈值 ≥0.999)0.9998590.9999725/5 完全一致PASS

排除静默回退 CPU 的证据:参数所在设备 {'npu'},NPU 已分配显存 fp32 3.63 GB / bf16 1.80 GB。

其他实测发现(供复现者参考):

  • 候选文本需使用描述句或模板:纯单词标签在中文 CLIP 上区分度不足,实测「一片风景」 曾以 0.0022 之差压过「一个人」;换成描述句后正确项以 0.2875 对 0.1164 明显领先。
  • transformers 4.57 下 model.get_text_features() / model.get_image_features() 返回 None (pooled_output 为 None,触发 linear(): argument 'input' must be Tensor, not NoneType), 本工程统一使用整体 forward:model(**image_inputs, **text_inputs)。
  • 文本池化位置核对:argmax(最高 token id)落在最后一个汉字(位置 3),而 [SEP] 在位置 4; 与整体 forward 的结果无冲突(两种 dtype 下排序均与 CPU 完全一致)。
  • 预处理读自 preprocessor_config.json:resize 至 224×224(do_center_crop=false, resample=3 BICUBIC),使用 CLIP 标准 mean/std。

7. 性能测试

条件:dtype=bf16、batch=1、输入图 512×512、候选文本 5 条、预热 3 次、正式 10 次; 每个计时区间前后均调用 torch.npu.synchronize()。单位 ms。

阶段avgminmaxp50p90p95
图像塔 forward19.219.019.419.219.419.4
文本塔 forward(5 条)15.715.416.315.616.216.3
相似度计算(1×5)1.30.94.80.91.33.1
端到端 forward34.734.634.934.834.834.9
  • 首次前向(含图编译,单列不计入稳定延迟):benchmark 运行 252.5 ms,验证运行 247.6 ms
  • 峰值显存 1.80 GB;端到端吞吐 28.79 img/s(按 1/端到端平均延迟折算)
  • CPU 参考:同一输入 fp32 端到端 8.51 s(另一次实测 9.00 s),即 NPU 约 245 倍加速
  • 上述计时不含图像预处理

8. 自验证截图

agent workflow

npu device call

model result

三张图由本次真实日志渲染(每图对应一次真实命令,源日志与 SHA-256 见证据 manifest)。

9. 已知限制

  • 一致性验证为单样本(1 图 5 句),未做数据集级精度评测
  • 候选文本需使用描述句或模板;纯单词标签不可靠
  • get_image_features / get_text_features 在当前 transformers 版本不可用,必须走整体 forward
  • 首次前向含图编译开销,生产部署建议先预热
  • 单卡单进程、batch=1;未验证多卡、多流与 batch>1

10. 标签

Hardware: NPU / NPU / Ascend / Ascend910