liuhongwei-2026/peek
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

momentslab/peek on Ascend NPU

PEEK: Picking Essential frames via Efficient Knowledge distillation

通过高效知识蒸馏挑选关键帧 —— 一个用于低预算视频字幕生成的无查询帧选择器。 推理时仅接收视频帧;给定 k 帧预算,预测每帧相关性分数并按时间顺序返回所选帧, 可直接输入到下游视频-语言模型。

本仓库内容:在昇腾 NPU 上完成 momentslab/peek 的模型适配与服务化推理适配, 包含推理脚本、部署说明、环境依赖清单与截图素材目录。

  • 模型来源: https://huggingface.co/momentslab/peek (镜像 https://ai.gitcode.com/hf_mirrors/momentslab/peek)
  • 架构: PeekScorer(2 层 Transformer,约 1.7M 参数)+ 冻结的 MobileCLIP2-S0 视觉编码器(open_clip/timm,512 维特征)
  • 参数量: 1,712,129(评分器)
  • 适配状态: SUCCESS(两阶段验证均通过)
  • 适配时间: 2026-08-23

1. 验证环境

组件版本
torch2.9.0
torch_npu2.9.0.post1
CANN8.5.1
open_clip_torch3.3.0
timm1.0.28
Python3.11.14
NPUAscend 910 (2 卡, 65536 MB/卡)

2. 模型适配说明

PEEK 为"其他"类视频帧选择模型,不属 vLLM 模型 registry,因此采用 torch_npu(open_clip/timm)原生路径自建 OpenAI 风格服务,而非 vLLM-Ascend。

Stage A(dummy 门禁)与 Stage B(真实权重门禁)均通过:

  • Stage A:PeekScorer 随机输入前向,输出形状 (1, T),无 NaN/Inf,延迟约 62ms;
  • Stage B:加载真实 peek_base.safetensors(30/30 键)与 open_clip_pytorch_model.bin (934/934 键)后,在 NPU 上对真实视频 12 帧编码+评分,输出有效分数,无 NaN/Inf。

⚠ 注:NPU 上 aten::_transformer_encoder_layer_fwd 临界回退到 CPU(性能提示, 精度正确)。若需充分性能可在后续阶段对 nn.TransformerEncoderLayer 做融合替换。

3. 目录结构

peek/
├── inference.py        # 推理脚本(必选)
├── serve.py             # 服务化推理(FastAPI, /v1/models, /v1/frame_select)
├── README.md            # 部署说明文档(必选)
├── requirements.txt     # 环境依赖清单(必选)
├── src/peek/            # PEEK 源码(model/selection/encoder/frames 等)
└── assets/              # 截图素材文件夹(必选)
        ├── agent_workflow.png
        ├── npu_device_call.png
        └── model_result.png

4. 复现步骤

# 1) 安装依赖
pip install -r requirements.txt

# 2) 下载/放置权重 (从 https://ai.gitcode.com/hf_mirrors/momentslab/peek 拉取)
#    peek_base.safetensors          -- PEEK 评分器 (~6.8 MB)
#    open_clip_pytorch_model.bin    -- MobileCLIP2-S0 编码器 (~300 MB,
#                                      来自 timm/MobileCLIP2-S0-OpenCLIP)

# 3) 单次推理 (NPU)
python3 inference.py --video sample.mp4 --k 4 \
    --encoder-ckpt open_clip_pytorch_model.bin --ckpt peek_base.safetensors \
    --device npu:0

# 4) 服务化推理
python3 serve.py   # 默认 0.0.0.0:8000

服务化调用

# 查询模型
curl http://127.0.0.1:8000/v1/models

# 帧选择
curl -X POST http://127.0.0.1:8000/v1/frame_select \
  -H 'Content-Type: application/json' \
  -d '{"video_path":"/path/to/clip.mp4","k":4,"mode":"stratified_argmax"}'

响应示例:

{
  "model": "momentslab/peek",
  "frame_count": 12, "fps": 2.0,
  "selected_indices": [1, 4, 6, 9],
  "selected_timestamps_sec": [0.5, 2.0, 3.0, 4.5],
  "scores": [-0.7094, -0.2742, ...]
}

5. 性能(真实权重, NPU)

阶段指标数值
编码MobileCLIP2 (12 帧)~0.29 s
评分PeekScorer (12 帧)~0.019 s

6. 截图素材

见 assets/(agent_workflow.png / npu_device_call.png / model_result.png), 验证完成后截图替换。


贡献者: liuhongwei-2026 | 赛道: 模型适配赛道