K-ON111111/videoflextok_d18_d28
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

videoflextok_d18_d28 — 昇腾 NPU 适配模型

赛事: 昇腾 Model Agent 模型适配大赛(第二季) 引擎: torch_npu 硬件: Ascend 910B4 标签: npu ascend pytorch transformers

📖 模型简介

属性值
原始模型EPFL-VILAB/videoflextok_d18_d28
参数量1.6 B
任务类型视频 Token 化(VideoFlexTok 视频编码器,d18_d28)
输入格式RGB 视频帧(17 帧 x 128x128,值域 [-1,1])
输出格式FSQ 离散 token 序列 [1, 5, 256]

VideoFlexTok 是可学习长度的粗细两级视频 token 化模型,基于 VidTok 因果 VAE + FlexTransformer 主干 + FSQ 量化,将视频编码为离散 token。d18_d28 为 1.6B 参数 变体。本适配在昇腾 NPU(Ascend 910B4)上完成 17 帧视频 token 化,单次约 7.9 s。

⚠️ 建模代码随仓提供:原始权重仓仅含 model.safetensors(不含建模代码), 本仓库将 VideoFlexTok 源码 vendor 到 src/videoflextok/,供推理使用。

🔧 环境依赖

⚠️ 本仓库不包含模型权重(交付件仅 inference.py / readme.md / requirements.txt / assets/ + src/), 推理前必须先从原始模型仓单独下载权重。

# 1. 下载模型权重(仓库不含权重,必须单独下载)
huggingface-cli download EPFL-VILAB/videoflextok_d18_d28 --local-dir ./ --local-dir-use-symlinks False

# 2. 安装依赖
pip install -r requirements.txt -i https://repo.huaweicloud.com/repository/pypi/simple/

🚀 推理步骤

# 运行 NPU 推理(合成视频 -> token 序列)
python3 inference.py --model_path . --frames 17 --device npu:0

🧪 测试用例

用例 1: 合成视频 Token 化

python3 inference.py --model_path . --frames 17 --device npu:0

预期输出:

[Model Agent] NPU 设备就绪: Ascend910B4 (count=1)
[Model Agent] 模型加载完成 -> npu:0 (VideoFlexTok)
[Model Agent] images_read_key=rgb, token_write_key=tokens
[Model Agent] 合成视频: (1, 3, 17, 128, 128) (值域 [-1,1])
[Model Agent] Token 输出: 1 段, 每段 shape=(1, 5, 256)
[Model Agent] Token 统计: min=566.0 max=63752.0 mean=32125.000
[Model Agent] 推理时延: 7910.0 ms

📁 目录结构

.
├── inference.py          # NPU 推理脚本
├── readme.md             # 本文件
├── requirements.txt      # 依赖清单
├── assets/               # 截图素材
└── src/videoflextok/     # VideoFlexTok 建模源码(vendor,原始仓不含)

📝 适配说明

本模型由 昇腾 Model Agent 自动完成 NPU 适配:

  • 代码迁移: VideoFlexTok 建模代码 vendor 至 src/videoflextok/; ①TORCHDYNAMO_DISABLE=1 禁用 torch.compile(triton 在 NPU 不可用); ②FlexAttention 替换为标准 scaled_dot_product_attention(NPU 不支持 FlexAttention);③输入视频按 video_preprocess_args 缩放至 128x128。
  • 验证: Ascend 910B4 上推理,输出合法 FSQ token 序列。