weixin_43499674/Wan2.1-Fun-V1.1-1.3B-Control-Camera-NPU

Wan2.1-Fun-V1.1-1.3B-Control-Camera NPU 适配

模型简介

模型名称: PAI/Wan2.1-Fun-V1.1-1.3B-Control-Camera
任务类型: 相机控制视频生成 (Camera-Controlled Video Generation)
基础架构: Wan2.1 + CameraCtrl Adapter
适配平台: 华为昇腾 Ascend910 NPU
源模型: https://www.modelscope.cn/models/PAI/Wan2.1-Fun-V1.1-1.3B-Control-Camera

功能

支持通过相机运动控制（平移、缩放等）生成视频，包括：

向上摇摄/向下摇摄/向左摇摄/向右摇摄
组合运动（如向上摇摄 + 向左摇摄）
多分辨率支持（480p, 512p, 768p, 1024p）
81帧视频生成，16fps

CPU vs NPU 精度比对

组件	CPU(毫秒)	NPU(毫秒)	加速比	相对误差	余弦相似度	状态
CameraAdapter_17f	476.08	1.81	263倍	0.016%	1.000241	通过
CameraAdapter_41f	1259.52	4.35	290倍	0.016%	1.000769	通过
CameraAdapter_81f	2485.23	8.54	291倍	0.016%	1.002159	通过
CameraAdapter_512p	1680.36	5.13	327倍	0.016%	1.001368	通过
ResidualBlock (小)	2.00	0.10	21倍	0.004%	1.000000	通过
ResidualBlock (大)	66.39	0.12	541倍	0.005%	1.000039	通过
Conv2d 3→16	0.96	0.04	23倍	0.015%	1.000003	通过
Conv2d 16→32	3.38	0.05	72倍	0.015%	1.000010	通过
Conv2d 32→64	11.83	0.05	253倍	0.014%	1.000023	通过
QKV_Projection	14.16	0.05	296倍	<0.001%	1.000013	通过
Out_Projection	4.84	0.04	115倍	<0.001%	1.000003	通过
FFN_GELU	38.23	0.09	407倍	0.020%	1.000003	通过
LayerNorm	0.40	0.04	9倍	<0.001%	1.000008	通过
PixelUnshuffle (小)	25.55	0.42	61倍	0.000%	1.000671	通过
PixelUnshuffle (大)	37.94	0.47	81倍	0.000%	1.001017	通过

总计: 15/15 通过。NPU 加速比 9倍-541倍，余弦相似度全部 > 0.999。

测试环境: Ascend910 NPU (61.3GB HBM) vs CPU。相同随机种子、相同权重、相同输入。wan_camera_npu_verification.json 包含每个测试的 MAE/MSE/RMSE 详细数据。

环境要求

NPU: 华为昇腾 Ascend910 (61.3GB HBM)
CANN: 8.5.1+
Python: 3.11
torch: 2.9.0
torch_npu: 2.9.0
代码库: VideoX-Fun

使用方法

快速验证 NPU 适配

python3 wan_camera_npu_verify.py

使用预训练权重推理

# 下载模型权重 (~19GB)
modelscope download PAI/Wan2.1-Fun-V1.1-1.3B-Control-Camera

# 运行 NPU 推理
python3 wan_camera_npu_adapter.py

文件结构

├── README.md                       # 模型说明及YAML元数据
├── .gitcode.yml                    # 模型仓库配置
├── cpu_npu_comparison.py           # CPU vs NPU 精度比对脚本
├── cpu_npu_comparison.json         # CPU vs NPU 结构化比对数据
├── cpu_npu_comparison.txt          # CPU vs NPU 比对报告
├── wan_camera_npu_verify.py        # NPU适配验证脚本（独立运行）
├── wan_camera_npu_adapter.py       # 完整NPU推理适配器
├── wan_camera_npu_verification.json # 结构化验证结果
└── wan_camera_npu_verification.txt  # 文本验证报告

许可证

Apache 许可证 2.0

Wan2.1-Fun-V1.1-1.3B-Control-Camera NPU 适配

模型简介

模型名称: PAI/Wan2.1-Fun-V1.1-1.3B-Control-Camera
任务类型: 相机控制视频生成 (Camera-Controlled Video Generation)
基础架构: Wan2.1 + CameraCtrl Adapter
适配平台: 华为昇腾 Ascend910 NPU
源模型: https://www.modelscope.cn/models/PAI/Wan2.1-Fun-V1.1-1.3B-Control-Camera

功能

支持通过相机运动控制（平移、缩放等）生成视频，包括：

向上摇摄/向下摇摄/向左摇摄/向右摇摄
组合运动（如向上摇摄 + 向左摇摄）
多分辨率支持（480p, 512p, 768p, 1024p）
81帧视频生成，16fps

CPU vs NPU 精度比对

组件	CPU(毫秒)	NPU(毫秒)	加速比	相对误差	余弦相似度	状态
CameraAdapter_17f	476.08	1.81	263倍	0.016%	1.000241	通过
CameraAdapter_41f	1259.52	4.35	290倍	0.016%	1.000769	通过
CameraAdapter_81f	2485.23	8.54	291倍	0.016%	1.002159	通过
CameraAdapter_512p	1680.36	5.13	327倍	0.016%	1.001368	通过
ResidualBlock (小)	2.00	0.10	21倍	0.004%	1.000000	通过
ResidualBlock (大)	66.39	0.12	541倍	0.005%	1.000039	通过
Conv2d 3→16	0.96	0.04	23倍	0.015%	1.000003	通过
Conv2d 16→32	3.38	0.05	72倍	0.015%	1.000010	通过
Conv2d 32→64	11.83	0.05	253倍	0.014%	1.000023	通过
QKV_Projection	14.16	0.05	296倍	<0.001%	1.000013	通过
Out_Projection	4.84	0.04	115倍	<0.001%	1.000003	通过
FFN_GELU	38.23	0.09	407倍	0.020%	1.000003	通过
LayerNorm	0.40	0.04	9倍	<0.001%	1.000008	通过
PixelUnshuffle (小)	25.55	0.42	61倍	0.000%	1.000671	通过
PixelUnshuffle (大)	37.94	0.47	81倍	0.000%	1.001017	通过

总计: 15/15 通过。NPU 加速比 9倍-541倍，余弦相似度全部 > 0.999。

测试环境: Ascend910 NPU (61.3GB HBM) vs CPU。相同随机种子、相同权重、相同输入。wan_camera_npu_verification.json 包含每个测试的 MAE/MSE/RMSE 详细数据。

环境要求

NPU: 华为昇腾 Ascend910 (61.3GB HBM)
CANN: 8.5.1+
Python: 3.11
torch: 2.9.0
torch_npu: 2.9.0
代码库: VideoX-Fun

使用方法

快速验证 NPU 适配

python3 wan_camera_npu_verify.py

使用预训练权重推理

# 下载模型权重 (~19GB)
modelscope download PAI/Wan2.1-Fun-V1.1-1.3B-Control-Camera

# 运行 NPU 推理
python3 wan_camera_npu_adapter.py

文件结构

├── README.md                       # 模型说明及YAML元数据
├── .gitcode.yml                    # 模型仓库配置
├── cpu_npu_comparison.py           # CPU vs NPU 精度比对脚本
├── cpu_npu_comparison.json         # CPU vs NPU 结构化比对数据
├── cpu_npu_comparison.txt          # CPU vs NPU 比对报告
├── wan_camera_npu_verify.py        # NPU适配验证脚本（独立运行）
├── wan_camera_npu_adapter.py       # 完整NPU推理适配器
├── wan_camera_npu_verification.json # 结构化验证结果
└── wan_camera_npu_verification.txt  # 文本验证报告

许可证

Apache 许可证 2.0