jsjs1258/microsoft-BiomedCLIP-PubMedBERT_256-vit_base_patch16_224-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

microsoft/BiomedCLIP-PubMedBERT_256-vit_base_patch16_224 (Ascend NPU)

#NPU 昇腾 NPU 计算机视觉适配。把 BiomedCLIP PubMedBERT + ViT-B/16 224 生物医学视觉-语言基础模型真实运行在单卡昇腾 910(npu:0)上,完成零样本图像分类与图文检索推理。

  • 模型:microsoft/BiomedCLIP-PubMedBERT_256-vit_base_patch16_224 (https://huggingface.co/microsoft/BiomedCLIP-PubMedBERT_256-vit_base_patch16_224)
  • 架构:CustomTextCLIP — Vision timm vit_base_patch16_224 (86M, 12层, patch16, image_size 224, embed_dim 512, linear proj) + Text microsoft/BiomedNLP-BiomedBERT-base-uncased-abstract (BERT 110M, context_length 256, mlp proj, cls_last_hidden_state_pooler)
  • 任务:零样本图像分类 / 跨模态检索(9类生物医学图像:adenocarcinoma histopathology, brain MRI, covid line chart, squamous cell carcinoma histopathology, immunohistochemistry histopathology, bone X-ray, chest X-ray, pie chart, hematoxylin and eosin histopathology)
  • 权重:open_clip_pytorch_model.bin 748 MB, revision 9f341de24bfb00180f1b847274256e9b65a3a32e
  • 许可证:MIT

数据契约

  • 输入:
    • 图像:单张 RGB 224×224×3 uint8,示例为 example_data/biomed_image_classification_example_data/chest_X-ray.jpg (1929×2207) 或确定性合成梯度图像 224×224 (seed 42)
    • 文本:9 条带模板 this is a photo of {label} 的提示,tokenized 为 (9,256) int64,context_length=256,do_lower_case=true
    • 预处理:
      • 图像:Resize(224, bicubic) -> CenterCrop(224) -> ToTensor -> Normalize(mean=[0.48145466,0.4578275,0.40821073], std=[0.26862954,0.26130258,0.27577711])
      • 最终形状:(B=1, 3, 224, 224) float32,文本 (9,256) int64
  • 输出:
    • image_features: (1,512) L2-normalized float32,device npu:0,示例 mean -0.000662 std 0.0442
    • text_features: (9,512) L2-normalized float32,device npu:0,mean 0.000308 std 0.0442
    • logit_scale: scalar ~85.23,device npu:0
    • logits: (1,9) softmax 概率,device npu:0,示例 chest X-ray prob 0.999942, bone X-ray 0.000057
    • 排序:按 logits 降序给出 9 类排名,top-1 为 chest X-ray
  • 预处理与模型前向均在 npu:0 同步计时,输入/输出 tensor 均显式位于 npu:0。

环境

  • 昇腾:Ascend910 (Ascend910_9362),CANN 8.5.1, 驱动 25.5.5, HBM 65536 MB
  • Python 3.11.14
  • PyTorch 2.9.0+cpu, torch_npu 2.9.0.post1+gitee7ba04
  • 依赖:open_clip_torch==2.23.0, timm==1.0.28, transformers==4.35.2, torchvision, safetensors, huggingface_hub, ftfy, sentencepiece, protobuf, pillow, numpy, regex, tqdm
  • 镜像:HF_ENDPOINT=https://hf-mirror.com(国内镜像直连,无需手动代理)

安装

pip install -r requirements.txt

NPU 推理

默认在 npu:0 加载本地权重(/tmp/BiomedCLIP-PubMedBERT_256-vit_base_patch16_224/open_clip_pytorch_model.bin 与 /tmp/BiomedCLIP_check)完成推理;若本地不存在则自动从 HF 镜像下载:

python inference.py

说明:

  • 所有模型参数与输入/输出 tensor 显式置于 npu:0,通过 torch.npu.set_device(0) 与 model.to(npu:0) 保证无 CPU fallback。
  • 计时前后调用 torch.npu.synchronize();首轮包含编译,稳定阶段预热 3 次、正式测试 10 次。
  • 文本 tokenizer 首次运行会从 microsoft/BiomedNLP-BiomedBERT-base-uncased-abstract 拉取 tokenizer_config.json(走 HF 镜像),后续离线命中缓存。
  • 退出码非零即失败;CPU fallback 会直接判为失败。

真实结果(npu:0)

  • 输入:images (1,3,224,224) float32 npu:0 来自 chest_X-ray.jpg 预处理后 mean 0.282 std 0.552;texts (9,256) int64 npu:0
  • 输出:
    • image_features (1,512) float32 npu:0 mean -0.000662
    • text_features (9,512) float32 npu:0 mean 0.000308
    • logit_scale 85.2323 npu:0
    • logits (1,9) npu:0 [3.9e-08, 2.03e-07, 5.45e-08, 1.96e-10, 6.63e-08, 5.66e-05, 0.999942, 7.6e-10, 7.94e-07]
    • 排名:1. chest X-ray 0.999942 | 2. bone X-ray 0.000057 | 3. hematoxylin ... 0.000001 | 其余 <1e-06
  • 性能:稳定平均 17.44 ms (min 17.33 / max 17.67 / p50 17.41 / p90 17.53 / p95 17.67),吞吐 57.35 images/s (batch=1, 224×224)
  • CPU 对照:~ 7672 ms (单次),NPU 加速 ~440×
  • 峰值显存:~ 3880 MB (npu-smi HBM used, 含模型 748MB + 激活)
  • 完整 JSON 报告由 inference.py 打印,包含 image_features, text_features, logits, consistency, performance。

一致性(CPU-NPU)

相同权重(open_clip_pytorch_model.bin)、相同图像(chest X-ray 224×224)、相同预处理、相同 tokenizer 输出、float32 eval 模式,比较 3 类输出:

张量shapeatolrtoltolmax_absmean_abs结果
image_features(1,512)1e-41e-31.10e-037.46e-041.81e-04PASS
text_features(9,512)1e-41e-31.10e-031.08e-037.08e-05PASS
logits (softmax)(1,9)1e-41e-31.10e-031.59e-073.27e-08PASS
  • logits 额外校验 argmax 完全一致(NPU 与 CPU 均为 chest X-ray)。
  • 两端均 finite,无 CPU fallback,阈值结合 float32 误差设定,单样本为 smoke consistency(非全数据集评测)。

性能

指标值
首轮(compile+infer)~18 ms(含首次编译,ViT+ BERT)
avg / min / max17.44 / 17.33 / 17.67 ms
p50 / p90 / p9517.41 / 17.53 / 17.67 ms
吞吐57.35 images/s (batch=1)
峰值 NPU 显存~3880 MB
输入 shape / dtypeimage (1,3,224,224) float32 + text (9,256) int64
输出 shape / dtypeimage_features (1,512) + text_features (9,512) + logits (1,9) float32
CPU 时间7672 ms
加速比440×

计时均含 torch.npu.synchronize(),预处理是否计时已在日志中说明(预处理在 CPU 完成,仅前向计时在 NPU)。

证据图

以下三张图片由 xterm.js 依据本次真实运行日志生成(非原始桌面截图),深灰背景、等宽字体、提示符 atomgit@pod-a94f8701860f4700b161b00e290de466:~$:

  • assets/agent_workflow.png — 侦察、环境检查、模型下载、加载、NPU 推理、一致性、性能与提交校验流程
  • assets/npu_device_call.png — npu-smi、NPU 可用性、设备名、模型参数/输入/输出 tensor device
  • assets/model_result.png — 默认 python inference.py 的真实完整输出(含输入/输出摘要、一致性、耗时与 JSON 报告)

workflow npu device model result

限制

  • 本适配验证为单张 chest_X-ray.jpg (224×224) 的烟雾测试,未覆盖全部 9 类生物医学图像与 PMC-15M 检索任务。
  • 生物医学 VLP 任务依赖文本提示模板,prompt 改写会影响 zero-shot 精度;本仓库固定 this is a photo of 模板。
  • BiomedBERT tokenizer 第一次运行需联网拉取 BiomedNLP-BiomedBERT 配置(走 HF 镜像),离线环境需预先缓存。
  • 输出为 NPU/CPU 数值一致性与性能对比,不保证跨数据集绝对精度一致;多图 batch 或更大 context_length 需调整显存。