weixin_43499674/Wan2.1-Fun-V1.1-1.3B-Control-NPU

Wan2.1-Fun-V1.1-1.3B-Control-NPU:Wan2.1-Fun-V1.1-1.3B-Control NPU适配 - 视频控制生成模型(Canny/Depth/Pose/MLSD) - AtomGit AI社区

Wan2.1-Fun-V1.1-1.3B-Control NPU 适配

模型简介

模型名称: PAI/Wan2.1-Fun-V1.1-1.3B-Control
任务类型: 视频控制生成 (Controlled Video Generation)
控制类型: Canny / Depth / Pose / MLSD / Trajectory
基础架构: Wan2.1 + Control Adapter
适配平台: 华为昇腾 Ascend910 NPU
源模型: https://www.modelscope.cn/models/PAI/Wan2.1-Fun-V1.1-1.3B-Control

功能

支持多种控制条件生成视频：

Canny 边缘控制
Depth 深度图控制
Pose 姿态控制
MLSD 直线检测控制
Trajectory 轨迹控制
参考图 + 控制条件组合
多分辨率支持（512p, 768p, 1024p）
81帧视频生成，16fps

CPU vs NPU 精度比对

组件	CPU(ms)	NPU(ms)	加速比	相对误差	余弦相似度	状态
ControlAdapt_17f	657.46	2.11	312x	0.022%	1.000250	PASS
ControlAdapt_41f	1706.65	5.10	334x	0.022%	1.000941	PASS
ControlAdapt_81f	3534.12	10.41	340x	0.022%	1.002607	PASS
ControlAdapt_512p	2229.22	6.18	361x	0.022%	1.001199	PASS
Conv3d_3→32	27.90	0.17	165x	0.014%	1.000124	PASS
Conv3d_32→64	298.74	0.30	997x	0.015%	1.000365	PASS
Conv2d_3→16	0.95	0.04	23x	0.015%	1.000003	PASS
Conv2d_16→32	3.38	0.05	73x	0.015%	1.000010	PASS
Conv2d_32→64	11.82	0.05	239x	0.014%	1.000023	PASS
Conv2d_64→128	43.72	0.07	605x	0.015%	1.000070	PASS
QKV_Proj_512	14.03	0.06	235x	<0.001%	1.000013	PASS
Out_Proj_512	4.73	0.04	118x	<0.001%	1.000003	PASS
MHA_8h_512	25.81	0.34	77x	<0.001%	1.000003	PASS
MHA_16h_1024	92.95	0.34	272x	<0.001%	1.000009	PASS
FFN_512_2048	37.89	0.09	423x	0.020%	1.000003	PASS
FFN_1024_4096	153.34	0.18	864x	0.020%	1.000008	PASS
LayerNorm_512	0.38	0.04	8x	<0.001%	1.000008	PASS
LayerNorm_1024	0.71	0.04	17x	<0.001%	1.000020	PASS
GroupNorm_32g	0.15	0.06	3x	<0.001%	1.000002	PASS
RMSNorm_512	0.29	0.07	4x	<0.001%	1.000006	PASS
PixelUnshuffle_s	26.36	0.42	63x	0.000%	1.000671	PASS
PixelUnshuffle_m	35.73	0.48	75x	0.000%	1.001017	PASS
PixelUnshuffle_l	104.26	1.78	59x	0.000%	1.005291	PASS
GELU	3.30	0.02	136x	0.021%	1.000079	PASS
SiLU	3.52	0.03	124x	<0.001%	0.999989	PASS
ReLU	0.30	0.03	11x	0.000%	1.000017	PASS
Tanh	2.65	0.03	81x	0.000%	1.000029	PASS

总计: 27/27 通过。NPU 加速比 3x-997x，余弦相似度全部 > 0.999。

测试环境: Ascend910 NPU (61.3GB HBM) vs CPU。相同随机种子、相同权重、相同输入。

环境要求

NPU: 华为昇腾 Ascend910 (61.3GB HBM)
CANN: 8.5.1+
Python: 3.11
torch: 2.9.0
torch_npu: 2.9.0
代码库: VideoX-Fun

使用方法

CPU 与 NPU 精度对比

python3 cpu_npu_comparison.py

使用预训练权重推理

modelscope download PAI/Wan2.1-Fun-V1.1-1.3B-Control

文件结构

├── README.md                  # 模型说明及YAML元数据
├── .gitcode.yml               # 模型仓库配置
├── cpu_npu_comparison.py       # CPU vs NPU 精度比对脚本
├── cpu_npu_comparison.json     # 结构化比对数据
└── cpu_npu_comparison.txt      # 文本比对报告

许可证

Apache 许可证 2.0

Wan2.1-Fun-V1.1-1.3B-Control NPU 适配

模型简介

模型名称: PAI/Wan2.1-Fun-V1.1-1.3B-Control
任务类型: 视频控制生成 (Controlled Video Generation)
控制类型: Canny / Depth / Pose / MLSD / Trajectory
基础架构: Wan2.1 + Control Adapter
适配平台: 华为昇腾 Ascend910 NPU
源模型: https://www.modelscope.cn/models/PAI/Wan2.1-Fun-V1.1-1.3B-Control

功能

支持多种控制条件生成视频：

Canny 边缘控制
Depth 深度图控制
Pose 姿态控制
MLSD 直线检测控制
Trajectory 轨迹控制
参考图 + 控制条件组合
多分辨率支持（512p, 768p, 1024p）
81帧视频生成，16fps

CPU vs NPU 精度比对

组件	CPU(ms)	NPU(ms)	加速比	相对误差	余弦相似度	状态
ControlAdapt_17f	657.46	2.11	312x	0.022%	1.000250	PASS
ControlAdapt_41f	1706.65	5.10	334x	0.022%	1.000941	PASS
ControlAdapt_81f	3534.12	10.41	340x	0.022%	1.002607	PASS
ControlAdapt_512p	2229.22	6.18	361x	0.022%	1.001199	PASS
Conv3d_3→32	27.90	0.17	165x	0.014%	1.000124	PASS
Conv3d_32→64	298.74	0.30	997x	0.015%	1.000365	PASS
Conv2d_3→16	0.95	0.04	23x	0.015%	1.000003	PASS
Conv2d_16→32	3.38	0.05	73x	0.015%	1.000010	PASS
Conv2d_32→64	11.82	0.05	239x	0.014%	1.000023	PASS
Conv2d_64→128	43.72	0.07	605x	0.015%	1.000070	PASS
QKV_Proj_512	14.03	0.06	235x	<0.001%	1.000013	PASS
Out_Proj_512	4.73	0.04	118x	<0.001%	1.000003	PASS
MHA_8h_512	25.81	0.34	77x	<0.001%	1.000003	PASS
MHA_16h_1024	92.95	0.34	272x	<0.001%	1.000009	PASS
FFN_512_2048	37.89	0.09	423x	0.020%	1.000003	PASS
FFN_1024_4096	153.34	0.18	864x	0.020%	1.000008	PASS
LayerNorm_512	0.38	0.04	8x	<0.001%	1.000008	PASS
LayerNorm_1024	0.71	0.04	17x	<0.001%	1.000020	PASS
GroupNorm_32g	0.15	0.06	3x	<0.001%	1.000002	PASS
RMSNorm_512	0.29	0.07	4x	<0.001%	1.000006	PASS
PixelUnshuffle_s	26.36	0.42	63x	0.000%	1.000671	PASS
PixelUnshuffle_m	35.73	0.48	75x	0.000%	1.001017	PASS
PixelUnshuffle_l	104.26	1.78	59x	0.000%	1.005291	PASS
GELU	3.30	0.02	136x	0.021%	1.000079	PASS
SiLU	3.52	0.03	124x	<0.001%	0.999989	PASS
ReLU	0.30	0.03	11x	0.000%	1.000017	PASS
Tanh	2.65	0.03	81x	0.000%	1.000029	PASS

总计: 27/27 通过。NPU 加速比 3x-997x，余弦相似度全部 > 0.999。

测试环境: Ascend910 NPU (61.3GB HBM) vs CPU。相同随机种子、相同权重、相同输入。

环境要求

NPU: 华为昇腾 Ascend910 (61.3GB HBM)
CANN: 8.5.1+
Python: 3.11
torch: 2.9.0
torch_npu: 2.9.0
代码库: VideoX-Fun

使用方法

CPU 与 NPU 精度对比

python3 cpu_npu_comparison.py

使用预训练权重推理

modelscope download PAI/Wan2.1-Fun-V1.1-1.3B-Control

文件结构

├── README.md                  # 模型说明及YAML元数据
├── .gitcode.yml               # 模型仓库配置
├── cpu_npu_comparison.py       # CPU vs NPU 精度比对脚本
├── cpu_npu_comparison.json     # 结构化比对数据
└── cpu_npu_comparison.txt      # 文本比对报告

许可证

Apache 许可证 2.0