liuhongwei-2026/FloodDiffusion
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

FloodDiffusion · 昇腾 NPU 适配

ShandaAI/FloodDiffusion 是一个基于 Latent Diffusion Forcing 的文本驱动、流式人体运动生成模型。本仓库将其迁移并适配到 华为昇腾 Ascend NPU,提供设备无关的推理脚本(CPU / CUDA / NPU 自动切换)。

  • 论文:Tailored Diffusion Forcing for Streaming Motion Generation
  • 架构:Wan2.2 风格 8 层 DiT(扩散主干)+ 1D 卷积运动 VAE + UMT5-XXL 文本编码器

一、特点

  • 🔄 流式生成:随时间变化文本描述,无缝生成运动序列
  • ⚡ 实时:优化后模型输出 ~50 FPS
  • ⚙️ 昇腾友好:消除 CUDA 专属算子依赖,可平滑迁移到 NPU

二、主要 NPU 适配点

与官方源码相比,本项目做了以下三处昇腾适配:

#适配内容原因
1flash_attention 在非 CUDA 上回退到 scaled_dot_product_attention(并做 (B,L,H,d) → (B,H,L,d) 转置与变长 k_lens 截断)flash-attn 仅支持 CUDA
2rope_apply 旋转位置编码改为 float32 + complex64 计算NPU 不支持 float64 / complex128(官方 torch.polar 会产生 complex128,触发 aclnnCat 报错)
3扩散主干 WanModel 显式放目标设备;文本编码器 UMT5-XXL 保持在 CPU bf16节省 NPU 显存

三、环境依赖

  • 硬件:Ascend 910 系列(本仓库在 Ascend910 上验证通过)
  • 软件:PyTorch + torch_npu + CANN(本项目验证用 torch 2.9.0 / torch_npu 2.9.0.post1)
pip install -r requirements.txt

四、模型权重

从以下任一渠道拉取 ShandaAI/FloodDiffusion,内含:

  • model.safetensors — 扩散主干(WanModel,in_dim/out_dim=4,键名带 model. 前缀)
  • vae.safetensors — 1D 运动 VAE
  • ldf_deps/.../models_t5_umt5-xxl-enc-bf16.pth — UMT5-XXL 文本编码器
from modelscope import snapshot_download
snapshot_download("ShandaAI/FloodDiffusion")
# 或
# git clone https://ai.atomgit.com/hf_mirrors/ShandaAI/FloodDiffusion.git

本项目把官方 ldf_models/ / ldf_utils/ 源码打包在 model_src/ 下,配合外部权重即可离线、可复现地推理。

五、运行

1) NPU 前向验证

python3 inference.py --device npu:0 --mode forward \
    --model-dir /path/to/ShandaAI/FloodDiffusion --seq-len 256

预期输出(Ascend910 实测):

INFO flooddiffusion: device=npu:0 torch=2.9.0+cpu
INFO flooddiffusion: [NPU 适配] flash_attention -> SDPA 回退
INFO flooddiffusion: [NPU 适配] rope_apply 改为 float32/complex64
INFO flooddiffusion: [NPU 适配] WanModel.freqs 使用 complex64
INFO flooddiffusion: [load] missing=0 unexpected=0
INFO flooddiffusion: [forward] OK output shapes=[(4, 256, 1, 1)]
INFO flooddiffusion: WanModel 前向验证结果: PASS

2) 文本 → 运动生成

python3 inference.py --device npu:0 \
    --text "a person walking forward" --length 60 \
    --num-denoise-steps 10 --output-dir results

五、常见问题

Q1:No module named 'ldf_models.tools.wan_model' 直接使用 ModelScope 快照时其 ldf_models/tools 可能不含 wan_model.py。请使用本项目内置的 model_src/(脚本默认优先加载它),或从 GitHub 官方仓补齐源码。

Q2:NPU 报 aclnnCat failed ... DT_COMPLEX128 官方 RoPE 用 torch.polar 生成 complex128。本脚本已替换为 float32/complex64 实现。

Q3:AssertionError 于 flash_attention 要求 cuda 本脚本已将非 CUDA 情况自动回退到 PyTorch SDPA,无需安装 flash-attn。

参考资源

  • 模型仓:Hugging Face ShandaAI/FloodDiffusion / GitCode 镜像
  • GitHub:ShandaAI/FloodDiffusion / AlayaLab/FloodDiffusion
  • 项目主页:https://shandaai.github.io/FloodDiffusion/