| 依赖项 | 版本要求 | 说明 |
|---|---|---|
| Python | >= 3.10 | 推荐 3.11 |
| torch | >= 2.1 | 推理引擎(共享环境提供,NPU 场景配套 torch_npu) |
| torchvision | >= 0.17 | 图像预处理 transforms |
| perception_models | main | 官方加载代码(core.vision_encoder.pe.CLIP,已内置到 libs) |
| einops | 最新版 | 张量重排 |
| timm | >= 0.9 | DropPath 等基础组件 |
| ftfy / regex | 最新版 | 文本 tokenizer 依赖 |
| numpy / Pillow | 最新版 | 图像预处理与数组处理 |
| matplotlib | 最新版 | 结果可视化 |
| 昇腾驱动 | CANN 8.0.RC2+ | 推荐最新版 |
安装命令:
pip install --target /mnt/workspace/PE-Core-S16-384/libs -i https://pypi.tuna.tsinghua.edu.cn/simple einops timm ftfy regex
# 官方加载代码(core 包)已随仓库放入 /mnt/workspace/PE-Core-S16-384/libs/core/# 检查 NPU 设备
npu-smi info
# 权重已就位(官方 CLIP 格式 checkpoint)
ls /home/developer/models/PE-Core-S16-384/ # PE-Core-S16-384.pt README.md ...PYTHONPATH=/mnt/workspace/PE-Core-S16-384/libs python3 inference.py --model_path /home/developer/models/PE-Core-S16-384脚本内置程序化绘制的示例图与 prompt 列表 ["a diagram", "a dog", "a cat"],只传 --model_path 即可跑通;零样本分类概率图自动保存到 assets/model_result.png。
| 参数 | 类型 | 默认值 | 说明 |
|---|---|---|---|
| --model_path | str | /home/developer/models/PE-Core-S16-384 | 本地权重目录(离线加载) |
| --device | str | 自动(npu > cuda > cpu) | 推理设备 |
| --output | str | assets/model_result.png | 结果可视化保存路径 |
输入:
python3 inference.py --model_path /home/developer/models/PE-Core-S16-384输出:
[INFO] device = npu
[INFO] 模型加载完成 load_time=x.xxs (PE-Core-S16-384, image_size=384, context_length=32)
[INFO] 输入张量 image shape=(1, 3, 384, 384) dtype=torch.float32 | text shape=(3, 32)
[RESULT] 零样本图像分类(prompt=['a diagram', 'a dog', 'a cat']):
[RESULT] a cat: p=0.xxxx
[RESULT] a dog: p=0.xxxx
[RESULT] a diagram: p=0.xxxx
[RESULT] 输出特征 image_features=(1, 512) text_features=(3, 512) logit_scale=x.xx
[INFO] 推理完成 耗时/elapsed=x.xxx s (input=512x512, batch=1, device=npu)
[RESULT] status=ok device=npu 耗时/elapsed=x.xxx输入:
python3 inference.py --model_path /home/developer/models/PE-Core-S16-384 --device cpu输出:
每行输出 [RESULT] 各 prompt 的零样本概率与输出特征 shape,末行含 耗时/elapsed 字段,status=ok


pe.CLIP.from_config("PE-Core-S16-384", pretrained=False) 建模后用本地 .pt 以 strict=True 加载,全部离线,不联网下载任何文件;