sheepss/yuvalkirstain-PickScore_v1-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

yuvalkirstain/PickScore_v1 on Ascend NPU

1. 模型简介

PickScore v1 是一个基于 CLIP 双塔架构的 图像-文本偏好评分模型(image-text preference scoring),用于对文生图(Text-to-Image)结果进行人类偏好预测与排序。 模型由 CLIP ViT-H/14 视觉塔与 CLIP 文本塔微调而成(约 9.86 亿参数),输入一个 提示词和若干候选图像,输出每个图像与提示词的匹配分数,分数越高表示该图像越可能 被人类偏好。

  • 架构:CLIPModel(vision ViT-H/14 + text transformer),projection_dim=1024
  • 官方用法: image_embs = get_image_features(...);text_embs = get_text_features(...); scores = logit_scale.exp() * (text_embs @ image_embs.T)
  • 模型来源:HuggingFace yuvalkirstain/PickScore_v1(本仓从 ModelScope 镜像 AI-ModelScope/PickScore_v1 下载真实权重 model.safetensors,3.94 GB)

2. 验证环境

项值
设备Ascend 910B(npu:0,Ascend910_9362)
推理框架PyTorch 2.9.0 + torch_npu 2.9.0.post1
CANNcann-8.5.1 / npu-smi 25.5.5
transformers4.57.6
权重格式model.safetensors(FP32,986.1M 参数)
推理精度FP32(与模型配置 torch_dtype=float32 一致)

3. 安装依赖

pip install -r requirements.txt

4. NPU 推理

python inference.py            # 默认:完整验证(偏好排序 + 文本排序 + CPU-NPU 一致性 + 性能)
python inference.py --mode validate    # 仅 CPU-NPU 一致性
python inference.py --mode benchmark   # 仅 NPU 延迟基准

脚本从本地模型快照加载真实权重,模型参数运行在 npu:0。若模型目录不在默认路径, 可通过 --model-dir 或环境变量 PICKSCORE_MODEL_DIR 指定。

固定测试输入:assets/test_input.jpg(真实 RGB 人像照片), 提示词 a professional portrait photo of a person, sharp and high quality。

5. 真实推理结果

以下为 python inference.py 在本机 npu:0 上真实执行的输出摘要。

图像偏好排序(同一提示词下对 5 张图像打分,含 1 张原图 + 4 张退化图):

排名图像score说明
1blurred17.9272高斯模糊
2darkened17.4841压暗
3original17.3140原始照片
4upscaled_small17.2506缩小后再放大
5noisy16.1797强噪声

偏好校验:严重损坏的 noisy 图像被排在最后一位 → PASS。 (PickScore 为偏好模型,绝对分数跨度小属正常现象;其相对偏好排序用于同类图像质量评估。)

文本排序(固定图像对 5 个候选提示词打分):

排名score提示词
117.3140a professional portrait photo of a person, sharp and high quality(合理标签)
217.0141a majestic mountain landscape with a lake at sunrise, high quality
316.0566a sports car on a highway at sunset, high quality
415.6857a delicious gourmet burger on a wooden table, food photography
515.2847a cute fluffy cat sitting on a couch, warm lighting, high quality

文本排序校验:对真实人像照片,合理标签(人像)排名第一 → PASS。

6. CPU-NPU 一致性验证

相同权重、相同输入在 CPU 与 npu:0 分别推理:

指标结果
image_embeds cosine (NPU vs CPU)0.999997
text_embeds cosine (NPU vs CPU)0.999998
score max abs err0.024523
score mean abs err0.018410
score 相对平均误差0.001067(< 0.5%)
Top-1 一致True
完整排序一致True

FP32 下 embedding cosine ≥ 0.9999、Top-1 与完整排序完全一致 → PASS。

7. 性能测试

npu:0,batch = 5 图像 + 5 文本,FP32,224×224,预热 3 次 + 正式 10 次:

指标值
平均延迟48.62 ms
min / max46.87 / 50.26 ms
p50 / p90 / p9549.68 / 50.26 / 50.26 ms

上述为端到端一次前向(图像塔 + 文本塔 + 相似度计算)的稳定延迟。

8. 自验证截图

  • assets/agent_workflow.png:环境检查、模型侦察、NPU 推理、一致性验证与性能基准的真实日志
  • assets/npu_device_call.png:npu-smi info、torch.npu.is_available()、设备名与模型参数设备日志
  • assets/model_result.png:python inference.py 完整真实输出与最终 PASS

9. 已知限制

  • PickScore 是偏好评分模型,其绝对图文匹配分数跨度较小,跨内容的绝对分数 可区分性有限;本验证以任务本位的相对偏好排序(原图/噪声)与文本排序为主, 并以 CPU-NPU 一致性证明 NPU 适配正确性。
  • 本次验证为固定样例验证(1 张真实图像 + 5 个提示词 + 5 张图像),并非完整 数据集评测。
  • 权重以 FP32 加载;如需更高吞吐可在确认精度后切换 FP16/BF16。

10. 标签

  • Hardware: NPU
  • NPU
  • Ascend
  • Ascend910
  • CLIP
  • image-text-scoring
  • preference-model
  • pick-score