liuhongwei-2026/videoflextok_d18_d18_k600
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

EPFL-VILAB/videoflextok_d18_d18_k600 昇腾 NPU 部署说明

本仓库用于在华为昇腾 NPU 上部署 EPFL-VILAB/videoflextok_d18_d18_k600 的推理脚本。 由于该仓库是视频 Tokenizer/Detokenizer 模型,且当前代码路径包含非纯 PyTorch 算子,因此采用 torch_npu 逐位对齐推理方案,而非 vLLM-Ascend 服务化。

环境说明

  • 推荐环境:CANN 8.5 + torch_npu 2.5.1 + Python 3.10
  • 算子策略:前向以 CPU/Numpy 旁路处理非 NPU 算子,NPU 执行卷积/矩阵等兼容算子,保持逐位一致

权重来源

本地权重请放到 model/ 目录,包含:

  • model/config.json
  • model/model.safetensors

如果使用在线权重,请改用 HF_ENDPOINT + snapshot_download 下载。

运行命令

export DEVICE=npu:0
python inference.py --model_dir model --video data/video_examples/red_ball.mp4

验证结论

  • 权重加载:strict load,无权重键缺失
  • CPU vs NPU cosine:1.000000
  • NPU 推理耗时:约 55ms(环境不同会有浮动)