赛事: 昇腾 Model Agent 模型适配大赛(第二季) 引擎: torch_npu 硬件: Ascend 910B4 标签:
npuascendpytorchtransformers
| 属性 | 值 |
|---|---|
| 原始模型 | EPFL-VILAB/videoflextok_d18_d28 |
| 参数量 | 1.6 B |
| 任务类型 | 视频 Token 化(VideoFlexTok 视频编码器,d18_d28) |
| 输入格式 | RGB 视频帧(17 帧 x 128x128,值域 [-1,1]) |
| 输出格式 | FSQ 离散 token 序列 [1, 5, 256] |
VideoFlexTok 是可学习长度的粗细两级视频 token 化模型,基于 VidTok 因果 VAE + FlexTransformer 主干 + FSQ 量化,将视频编码为离散 token。d18_d28 为 1.6B 参数 变体。本适配在昇腾 NPU(Ascend 910B4)上完成 17 帧视频 token 化,单次约 7.9 s。
⚠️ 建模代码随仓提供:原始权重仓仅含
model.safetensors(不含建模代码), 本仓库将 VideoFlexTok 源码 vendor 到src/videoflextok/,供推理使用。
⚠️ 本仓库不包含模型权重(交付件仅
inference.py/readme.md/requirements.txt/assets/+src/), 推理前必须先从原始模型仓单独下载权重。
# 1. 下载模型权重(仓库不含权重,必须单独下载)
huggingface-cli download EPFL-VILAB/videoflextok_d18_d28 --local-dir ./ --local-dir-use-symlinks False
# 2. 安装依赖
pip install -r requirements.txt -i https://repo.huaweicloud.com/repository/pypi/simple/# 运行 NPU 推理(合成视频 -> token 序列)
python3 inference.py --model_path . --frames 17 --device npu:0python3 inference.py --model_path . --frames 17 --device npu:0预期输出:
[Model Agent] NPU 设备就绪: Ascend910B4 (count=1)
[Model Agent] 模型加载完成 -> npu:0 (VideoFlexTok)
[Model Agent] images_read_key=rgb, token_write_key=tokens
[Model Agent] 合成视频: (1, 3, 17, 128, 128) (值域 [-1,1])
[Model Agent] Token 输出: 1 段, 每段 shape=(1, 5, 256)
[Model Agent] Token 统计: min=566.0 max=63752.0 mean=32125.000
[Model Agent] 推理时延: 7910.0 ms.
├── inference.py # NPU 推理脚本
├── readme.md # 本文件
├── requirements.txt # 依赖清单
├── assets/ # 截图素材
└── src/videoflextok/ # VideoFlexTok 建模源码(vendor,原始仓不含)本模型由 昇腾 Model Agent 自动完成 NPU 适配:
src/videoflextok/;
①TORCHDYNAMO_DISABLE=1 禁用 torch.compile(triton 在 NPU 不可用);
②FlexAttention 替换为标准 scaled_dot_product_attention(NPU 不支持
FlexAttention);③输入视频按 video_preprocess_args 缩放至 128x128。