PEEK: Picking Essential frames via Efficient Knowledge distillation
通过高效知识蒸馏挑选关键帧 —— 一个用于低预算视频字幕生成的无查询帧选择器。 推理时仅接收视频帧;给定 k 帧预算,预测每帧相关性分数并按时间顺序返回所选帧, 可直接输入到下游视频-语言模型。
本仓库内容:在昇腾 NPU 上完成 momentslab/peek 的模型适配与服务化推理适配,
包含推理脚本、部署说明、环境依赖清单与截图素材目录。
PeekScorer(2 层 Transformer,约 1.7M 参数)+ 冻结的 MobileCLIP2-S0 视觉编码器(open_clip/timm,512 维特征)| 组件 | 版本 |
|---|---|
| torch | 2.9.0 |
| torch_npu | 2.9.0.post1 |
| CANN | 8.5.1 |
| open_clip_torch | 3.3.0 |
| timm | 1.0.28 |
| Python | 3.11.14 |
| NPU | Ascend 910 (2 卡, 65536 MB/卡) |
PEEK 为"其他"类视频帧选择模型,不属 vLLM 模型 registry,因此采用
torch_npu(open_clip/timm)原生路径自建 OpenAI 风格服务,而非 vLLM-Ascend。
Stage A(dummy 门禁)与 Stage B(真实权重门禁)均通过:
(1, T),无 NaN/Inf,延迟约 62ms;peek_base.safetensors(30/30 键)与 open_clip_pytorch_model.bin
(934/934 键)后,在 NPU 上对真实视频 12 帧编码+评分,输出有效分数,无 NaN/Inf。⚠ 注:NPU 上
aten::_transformer_encoder_layer_fwd临界回退到 CPU(性能提示, 精度正确)。若需充分性能可在后续阶段对nn.TransformerEncoderLayer做融合替换。
peek/
├── inference.py # 推理脚本(必选)
├── serve.py # 服务化推理(FastAPI, /v1/models, /v1/frame_select)
├── README.md # 部署说明文档(必选)
├── requirements.txt # 环境依赖清单(必选)
├── src/peek/ # PEEK 源码(model/selection/encoder/frames 等)
└── assets/ # 截图素材文件夹(必选)
├── agent_workflow.png
├── npu_device_call.png
└── model_result.png# 1) 安装依赖
pip install -r requirements.txt
# 2) 下载/放置权重 (从 https://ai.gitcode.com/hf_mirrors/momentslab/peek 拉取)
# peek_base.safetensors -- PEEK 评分器 (~6.8 MB)
# open_clip_pytorch_model.bin -- MobileCLIP2-S0 编码器 (~300 MB,
# 来自 timm/MobileCLIP2-S0-OpenCLIP)
# 3) 单次推理 (NPU)
python3 inference.py --video sample.mp4 --k 4 \
--encoder-ckpt open_clip_pytorch_model.bin --ckpt peek_base.safetensors \
--device npu:0
# 4) 服务化推理
python3 serve.py # 默认 0.0.0.0:8000# 查询模型
curl http://127.0.0.1:8000/v1/models
# 帧选择
curl -X POST http://127.0.0.1:8000/v1/frame_select \
-H 'Content-Type: application/json' \
-d '{"video_path":"/path/to/clip.mp4","k":4,"mode":"stratified_argmax"}'响应示例:
{
"model": "momentslab/peek",
"frame_count": 12, "fps": 2.0,
"selected_indices": [1, 4, 6, 9],
"selected_timestamps_sec": [0.5, 2.0, 3.0, 4.5],
"scores": [-0.7094, -0.2742, ...]
}| 阶段 | 指标 | 数值 |
|---|---|---|
| 编码 | MobileCLIP2 (12 帧) | ~0.29 s |
| 评分 | PeekScorer (12 帧) | ~0.019 s |
见 assets/(agent_workflow.png / npu_device_call.png / model_result.png),
验证完成后截图替换。
贡献者: liuhongwei-2026 | 赛道: 模型适配赛道