Y
YYPGD/PE-Core-S16-384
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

PE-Core-S16-384 昇腾NPU部署文档

1. 模型简介

模型名称: PE-Core-S16-384(facebook/PE-Core-S16-384) 模型链接: https://ai.gitcode.com/hf_mirrors/facebook/PE-Core-S16-384 模型描述: Meta 提出的 Perception Encoder (PE) 是通过视觉-语言对比学习训练的视觉编码器家族,论文《Perception Encoder: The best visual embeddings are not at the output of the network》。PE-Core-S16-384 为 Core 系列的 Small 规模双塔 CLIP 模型,支持零样本图像分类、图文检索;其视觉塔特征还可作为下游任务(检测、分割、VLM 视觉编码器)的通用表征。 模型架构: 双塔对比结构——视觉塔为 ViT-S/16(width=384, layers=12, heads=6, patch=16,RoPe2D 位置编码 + 注意力池化),输入 384x384;文本塔为 12 层 Transformer(width=512, heads=8, context=32 tokens);两塔输出经投影到共享 512 维空间,用可学习的 logit_scale 做对比相似度计算。 参数规模: 约 87M(checkpoint 约 349MB)

2. 环境依赖

依赖项版本要求说明
Python>= 3.10推荐 3.11
torch>= 2.1推理引擎(共享环境提供,NPU 场景配套 torch_npu)
torchvision>= 0.17图像预处理 transforms
perception_modelsmain官方加载代码(core.vision_encoder.pe.CLIP,已内置到 libs)
einops最新版张量重排
timm>= 0.9DropPath 等基础组件
ftfy / regex最新版文本 tokenizer 依赖
numpy / Pillow最新版图像预处理与数组处理
matplotlib最新版结果可视化
昇腾驱动CANN 8.0.RC2+推荐最新版

安装命令:

pip install --target /mnt/workspace/PE-Core-S16-384/libs -i https://pypi.tuna.tsinghua.edu.cn/simple einops timm ftfy regex
# 官方加载代码(core 包)已随仓库放入 /mnt/workspace/PE-Core-S16-384/libs/core/

3. 推理步骤

3.1 环境准备

# 检查 NPU 设备
npu-smi info
# 权重已就位(官方 CLIP 格式 checkpoint)
ls /home/developer/models/PE-Core-S16-384/   # PE-Core-S16-384.pt README.md ...

3.2 运行推理

PYTHONPATH=/mnt/workspace/PE-Core-S16-384/libs python3 inference.py --model_path /home/developer/models/PE-Core-S16-384

脚本内置程序化绘制的示例图与 prompt 列表 ["a diagram", "a dog", "a cat"],只传 --model_path 即可跑通;零样本分类概率图自动保存到 assets/model_result.png。

3.3 推理参数说明

参数类型默认值说明
--model_pathstr/home/developer/models/PE-Core-S16-384本地权重目录(离线加载)
--devicestr自动(npu > cuda > cpu)推理设备
--outputstrassets/model_result.png结果可视化保存路径

4. 测试样例及输出结果

样例 1:内置示例图零样本图文匹配

输入:

python3 inference.py --model_path /home/developer/models/PE-Core-S16-384

输出:

[INFO] device = npu
[INFO] 模型加载完成 load_time=x.xxs (PE-Core-S16-384, image_size=384, context_length=32)
[INFO] 输入张量 image shape=(1, 3, 384, 384) dtype=torch.float32 | text shape=(3, 32)
[RESULT] 零样本图像分类(prompt=['a diagram', 'a dog', 'a cat']):
[RESULT] a cat: p=0.xxxx
[RESULT] a dog: p=0.xxxx
[RESULT] a diagram: p=0.xxxx
[RESULT] 输出特征 image_features=(1, 512) text_features=(3, 512) logit_scale=x.xx
[INFO] 推理完成 耗时/elapsed=x.xxx s (input=512x512, batch=1, device=npu)
[RESULT] status=ok device=npu 耗时/elapsed=x.xxx

样例 2:指定设备运行

输入:

python3 inference.py --model_path /home/developer/models/PE-Core-S16-384 --device cpu

输出:

每行输出 [RESULT] 各 prompt 的零样本概率与输出特征 shape,末行含 耗时/elapsed 字段,status=ok

5. Agent适配截图

5.1 Agent适配全过程截图

Agent 适配流程

5.2 NPU设备调用截图

NPU 设备调用

5.3 模型适配结果截图

模型适配结果

6. 注意事项

  • 权重为官方 perception_models 的 CLIP 格式扁平 state_dict(.pt),脚本通过 pe.CLIP.from_config("PE-Core-S16-384", pretrained=False) 建模后用本地 .pt 以 strict=True 加载,全部离线,不联网下载任何文件;
  • 设备自动选择 npu > cuda > cpu;输入张量统一 float32(NPU 不支持 float64 算子),勿改动 dtype;
  • 模型内部注意力使用 torch 原生 MultiheadAttention(eager 实现),勿替换为 flash_attention_2;
  • 预处理采用官方 "squash" 方式(Resize 到 384x384 不保长宽比 + 归一化 mean/std=0.5),tokenizer 使用随包分发的 CLIP BPE 词表(bpe_simple_vocab_16e6.txt.gz),context_length=32;
  • 如需更高精度对齐,可与官方 pipeline(perception_models 仓库 core/vision_encoder 示例)在 GPU/CPU 上输出对比确认。