#NPU 昇腾 NPU 计算机视觉适配。把 BiomedCLIP PubMedBERT + ViT-B/16 224 生物医学视觉-语言基础模型真实运行在单卡昇腾 910(npu:0)上,完成零样本图像分类与图文检索推理。
microsoft/BiomedCLIP-PubMedBERT_256-vit_base_patch16_224 (https://huggingface.co/microsoft/BiomedCLIP-PubMedBERT_256-vit_base_patch16_224)CustomTextCLIP — Vision timm vit_base_patch16_224 (86M, 12层, patch16, image_size 224, embed_dim 512, linear proj) + Text microsoft/BiomedNLP-BiomedBERT-base-uncased-abstract (BERT 110M, context_length 256, mlp proj, cls_last_hidden_state_pooler)open_clip_pytorch_model.bin 748 MB, revision 9f341de24bfb00180f1b847274256e9b65a3a32e224×224×3 uint8,示例为 example_data/biomed_image_classification_example_data/chest_X-ray.jpg (1929×2207) 或确定性合成梯度图像 224×224 (seed 42)this is a photo of {label} 的提示,tokenized 为 (9,256) int64,context_length=256,do_lower_case=trueResize(224, bicubic) -> CenterCrop(224) -> ToTensor -> Normalize(mean=[0.48145466,0.4578275,0.40821073], std=[0.26862954,0.26130258,0.27577711])(B=1, 3, 224, 224) float32,文本 (9,256) int64image_features: (1,512) L2-normalized float32,device npu:0,示例 mean -0.000662 std 0.0442text_features: (9,512) L2-normalized float32,device npu:0,mean 0.000308 std 0.0442logit_scale: scalar ~85.23,device npu:0logits: (1,9) softmax 概率,device npu:0,示例 chest X-ray prob 0.999942, bone X-ray 0.000057chest X-raynpu:0 同步计时,输入/输出 tensor 均显式位于 npu:0。Ascend910_9362),CANN 8.5.1, 驱动 25.5.5, HBM 65536 MBopen_clip_torch==2.23.0, timm==1.0.28, transformers==4.35.2, torchvision, safetensors, huggingface_hub, ftfy, sentencepiece, protobuf, pillow, numpy, regex, tqdmHF_ENDPOINT=https://hf-mirror.com(国内镜像直连,无需手动代理)pip install -r requirements.txt默认在 npu:0 加载本地权重(/tmp/BiomedCLIP-PubMedBERT_256-vit_base_patch16_224/open_clip_pytorch_model.bin 与 /tmp/BiomedCLIP_check)完成推理;若本地不存在则自动从 HF 镜像下载:
python inference.py说明:
npu:0,通过 torch.npu.set_device(0) 与 model.to(npu:0) 保证无 CPU fallback。torch.npu.synchronize();首轮包含编译,稳定阶段预热 3 次、正式测试 10 次。microsoft/BiomedNLP-BiomedBERT-base-uncased-abstract 拉取 tokenizer_config.json(走 HF 镜像),后续离线命中缓存。images (1,3,224,224) float32 npu:0 来自 chest_X-ray.jpg 预处理后 mean 0.282 std 0.552;texts (9,256) int64 npu:0image_features (1,512) float32 npu:0 mean -0.000662text_features (9,512) float32 npu:0 mean 0.000308logit_scale 85.2323 npu:0logits (1,9) npu:0 [3.9e-08, 2.03e-07, 5.45e-08, 1.96e-10, 6.63e-08, 5.66e-05, 0.999942, 7.6e-10, 7.94e-07]inference.py 打印,包含 image_features, text_features, logits, consistency, performance。相同权重(open_clip_pytorch_model.bin)、相同图像(chest X-ray 224×224)、相同预处理、相同 tokenizer 输出、float32 eval 模式,比较 3 类输出:
| 张量 | shape | atol | rtol | tol | max_abs | mean_abs | 结果 |
|---|---|---|---|---|---|---|---|
| image_features | (1,512) | 1e-4 | 1e-3 | 1.10e-03 | 7.46e-04 | 1.81e-04 | PASS |
| text_features | (9,512) | 1e-4 | 1e-3 | 1.10e-03 | 1.08e-03 | 7.08e-05 | PASS |
| logits (softmax) | (1,9) | 1e-4 | 1e-3 | 1.10e-03 | 1.59e-07 | 3.27e-08 | PASS |
argmax 完全一致(NPU 与 CPU 均为 chest X-ray)。float32 误差设定,单样本为 smoke consistency(非全数据集评测)。| 指标 | 值 |
|---|---|
| 首轮(compile+infer) | ~18 ms(含首次编译,ViT+ BERT) |
| avg / min / max | 17.44 / 17.33 / 17.67 ms |
| p50 / p90 / p95 | 17.41 / 17.53 / 17.67 ms |
| 吞吐 | 57.35 images/s (batch=1) |
| 峰值 NPU 显存 | ~3880 MB |
| 输入 shape / dtype | image (1,3,224,224) float32 + text (9,256) int64 |
| 输出 shape / dtype | image_features (1,512) + text_features (9,512) + logits (1,9) float32 |
| CPU 时间 | 7672 ms |
| 加速比 | 440× |
计时均含 torch.npu.synchronize(),预处理是否计时已在日志中说明(预处理在 CPU 完成,仅前向计时在 NPU)。
以下三张图片由 xterm.js 依据本次真实运行日志生成(非原始桌面截图),深灰背景、等宽字体、提示符 atomgit@pod-a94f8701860f4700b161b00e290de466:~$:
assets/agent_workflow.png — 侦察、环境检查、模型下载、加载、NPU 推理、一致性、性能与提交校验流程assets/npu_device_call.png — npu-smi、NPU 可用性、设备名、模型参数/输入/输出 tensor deviceassets/model_result.png — 默认 python inference.py 的真实完整输出(含输入/输出摘要、一致性、耗时与 JSON 报告)

chest_X-ray.jpg (224×224) 的烟雾测试,未覆盖全部 9 类生物医学图像与 PMC-15M 检索任务。this is a photo of 模板。BiomedNLP-BiomedBERT 配置(走 HF 镜像),离线环境需预先缓存。context_length 需调整显存。