ShandaAI/FloodDiffusion 是一个基于 Latent Diffusion Forcing 的文本驱动、流式人体运动生成模型。本仓库将其迁移并适配到 华为昇腾 Ascend NPU,提供设备无关的推理脚本(CPU / CUDA / NPU 自动切换)。
与官方源码相比,本项目做了以下三处昇腾适配:
| # | 适配内容 | 原因 |
|---|---|---|
| 1 | flash_attention 在非 CUDA 上回退到 scaled_dot_product_attention(并做 (B,L,H,d) → (B,H,L,d) 转置与变长 k_lens 截断) | flash-attn 仅支持 CUDA |
| 2 | rope_apply 旋转位置编码改为 float32 + complex64 计算 | NPU 不支持 float64 / complex128(官方 torch.polar 会产生 complex128,触发 aclnnCat 报错) |
| 3 | 扩散主干 WanModel 显式放目标设备;文本编码器 UMT5-XXL 保持在 CPU bf16 | 节省 NPU 显存 |
pip install -r requirements.txt从以下任一渠道拉取 ShandaAI/FloodDiffusion,内含:
model.safetensors — 扩散主干(WanModel,in_dim/out_dim=4,键名带 model. 前缀)vae.safetensors — 1D 运动 VAEldf_deps/.../models_t5_umt5-xxl-enc-bf16.pth — UMT5-XXL 文本编码器from modelscope import snapshot_download
snapshot_download("ShandaAI/FloodDiffusion")
# 或
# git clone https://ai.atomgit.com/hf_mirrors/ShandaAI/FloodDiffusion.git本项目把官方
ldf_models//ldf_utils/源码打包在model_src/下,配合外部权重即可离线、可复现地推理。
python3 inference.py --device npu:0 --mode forward \
--model-dir /path/to/ShandaAI/FloodDiffusion --seq-len 256预期输出(Ascend910 实测):
INFO flooddiffusion: device=npu:0 torch=2.9.0+cpu
INFO flooddiffusion: [NPU 适配] flash_attention -> SDPA 回退
INFO flooddiffusion: [NPU 适配] rope_apply 改为 float32/complex64
INFO flooddiffusion: [NPU 适配] WanModel.freqs 使用 complex64
INFO flooddiffusion: [load] missing=0 unexpected=0
INFO flooddiffusion: [forward] OK output shapes=[(4, 256, 1, 1)]
INFO flooddiffusion: WanModel 前向验证结果: PASSpython3 inference.py --device npu:0 \
--text "a person walking forward" --length 60 \
--num-denoise-steps 10 --output-dir resultsQ1:No module named 'ldf_models.tools.wan_model'
直接使用 ModelScope 快照时其 ldf_models/tools 可能不含 wan_model.py。请使用本项目内置的
model_src/(脚本默认优先加载它),或从 GitHub 官方仓补齐源码。
Q2:NPU 报 aclnnCat failed ... DT_COMPLEX128
官方 RoPE 用 torch.polar 生成 complex128。本脚本已替换为 float32/complex64 实现。
Q3:AssertionError 于 flash_attention 要求 cuda
本脚本已将非 CUDA 情况自动回退到 PyTorch SDPA,无需安装 flash-attn。