PickScore v1 是一个基于 CLIP 双塔架构的 图像-文本偏好评分模型(image-text preference scoring),用于对文生图(Text-to-Image)结果进行人类偏好预测与排序。 模型由 CLIP ViT-H/14 视觉塔与 CLIP 文本塔微调而成(约 9.86 亿参数),输入一个 提示词和若干候选图像,输出每个图像与提示词的匹配分数,分数越高表示该图像越可能 被人类偏好。
CLIPModel(vision ViT-H/14 + text transformer),projection_dim=1024image_embs = get_image_features(...);text_embs = get_text_features(...);
scores = logit_scale.exp() * (text_embs @ image_embs.T)yuvalkirstain/PickScore_v1(本仓从 ModelScope 镜像
AI-ModelScope/PickScore_v1 下载真实权重 model.safetensors,3.94 GB)| 项 | 值 |
|---|---|
| 设备 | Ascend 910B(npu:0,Ascend910_9362) |
| 推理框架 | PyTorch 2.9.0 + torch_npu 2.9.0.post1 |
| CANN | cann-8.5.1 / npu-smi 25.5.5 |
| transformers | 4.57.6 |
| 权重格式 | model.safetensors(FP32,986.1M 参数) |
| 推理精度 | FP32(与模型配置 torch_dtype=float32 一致) |
pip install -r requirements.txtpython inference.py # 默认:完整验证(偏好排序 + 文本排序 + CPU-NPU 一致性 + 性能)
python inference.py --mode validate # 仅 CPU-NPU 一致性
python inference.py --mode benchmark # 仅 NPU 延迟基准脚本从本地模型快照加载真实权重,模型参数运行在 npu:0。若模型目录不在默认路径,
可通过 --model-dir 或环境变量 PICKSCORE_MODEL_DIR 指定。
固定测试输入:assets/test_input.jpg(真实 RGB 人像照片),
提示词 a professional portrait photo of a person, sharp and high quality。
以下为 python inference.py 在本机 npu:0 上真实执行的输出摘要。
图像偏好排序(同一提示词下对 5 张图像打分,含 1 张原图 + 4 张退化图):
| 排名 | 图像 | score | 说明 |
|---|---|---|---|
| 1 | blurred | 17.9272 | 高斯模糊 |
| 2 | darkened | 17.4841 | 压暗 |
| 3 | original | 17.3140 | 原始照片 |
| 4 | upscaled_small | 17.2506 | 缩小后再放大 |
| 5 | noisy | 16.1797 | 强噪声 |
偏好校验:严重损坏的 noisy 图像被排在最后一位 → PASS。 (PickScore 为偏好模型,绝对分数跨度小属正常现象;其相对偏好排序用于同类图像质量评估。)
文本排序(固定图像对 5 个候选提示词打分):
| 排名 | score | 提示词 |
|---|---|---|
| 1 | 17.3140 | a professional portrait photo of a person, sharp and high quality(合理标签) |
| 2 | 17.0141 | a majestic mountain landscape with a lake at sunrise, high quality |
| 3 | 16.0566 | a sports car on a highway at sunset, high quality |
| 4 | 15.6857 | a delicious gourmet burger on a wooden table, food photography |
| 5 | 15.2847 | a cute fluffy cat sitting on a couch, warm lighting, high quality |
文本排序校验:对真实人像照片,合理标签(人像)排名第一 → PASS。
相同权重、相同输入在 CPU 与 npu:0 分别推理:
| 指标 | 结果 |
|---|---|
| image_embeds cosine (NPU vs CPU) | 0.999997 |
| text_embeds cosine (NPU vs CPU) | 0.999998 |
| score max abs err | 0.024523 |
| score mean abs err | 0.018410 |
| score 相对平均误差 | 0.001067(< 0.5%) |
| Top-1 一致 | True |
| 完整排序一致 | True |
FP32 下 embedding cosine ≥ 0.9999、Top-1 与完整排序完全一致 → PASS。
npu:0,batch = 5 图像 + 5 文本,FP32,224×224,预热 3 次 + 正式 10 次:
| 指标 | 值 |
|---|---|
| 平均延迟 | 48.62 ms |
| min / max | 46.87 / 50.26 ms |
| p50 / p90 / p95 | 49.68 / 50.26 / 50.26 ms |
上述为端到端一次前向(图像塔 + 文本塔 + 相似度计算)的稳定延迟。
assets/agent_workflow.png:环境检查、模型侦察、NPU 推理、一致性验证与性能基准的真实日志assets/npu_device_call.png:npu-smi info、torch.npu.is_available()、设备名与模型参数设备日志assets/model_result.png:python inference.py 完整真实输出与最终 PASS