eardoi/FloodDiffusionTiny-npu
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

ShandaAI/FloodDiffusionTiny(昇腾 NPU 适配)

FloodDiffusionTiny 是 FloodDiffusion (Tailored Diffusion Forcing for Streaming Motion Generation)的精简版, 根据文本描述生成人体运动序列(263 维 HumanML3D 特征)。

本项目完成其在**华为昇腾 NPU(Ascend 910B)**上的推理适配与验证。

模型规格

项目说明
网络LDFModel(Latent Diffusion Forcing + umt5-base 文本编码 + 1D VAE)
参数量9.2M(ldf_model,不含 umt5/VAE)
输入文本描述 + length(latent token 长度,帧数 ≈ length×4)
输出运动序列(frames × 263 HumanML3D 特征)
权重格式safetensors(model.safetensors + vae.safetensors)

环境准备

pip install torch transformers lightning diffusers omegaconf ftfy numpy safetensors

推理

cd /workspace/ShandaAI_FloodDiffusionTiny
export HF_ENDPOINT=https://hf-mirror.com
/usr/local/python3.11.14/bin/python3 inference.py \
    --model_path /workspace/ShandaAI_FloodDiffusionTiny_src \
    --text "a person walks forward" --length 60 --device npu:0

参数

参数说明默认值
--model_path权重目录(含 hf_pipeline.py 远程代码).../ShandaAI_FloodDiffusionTiny_src
--text运动文本提示a person walks forward
--lengthlatent token 长度(帧数 ≈ length×4)60
--num_denoise_steps去噪步数None(默认)
--device推理设备(npu:0 / cpu)npu:0
--output保存运动序列 npy(可选)stdout

验证结果(Ascend 910B, npu:0)

输入:"a person walks forward",length=60(≈240 帧)

[info] ldf_model 参数量: 9.2M
[info] text: 'a person walks forward'  length: 60 (≈240 帧)
============================================================
[info] 输出形状: (237, 263) (frames, 263 HumanML3D 特征)
[info] 运动范围: x∈[-0.14,0.08] y∈[-0.02,0.02]
============================================================

FloodDiffusionTiny 在 NPU 上完成文本→运动生成(输出 (237,263) 运动序列), NPU 推理链路完整跑通。

适配说明

  • umt5-base 文本编码器:原代码硬编码 google/umt5-base 在线加载, 改为本地路径 /workspace/google_umt5-base_src(含 tokenizer 与权重)。
  • RoPE 复数算子:wan_model.py 原用 torch.polar/view_as_complex(complex128), NPU 不支持,重写为实数 cos/sin 旋转。
  • Flash Attention:CUDA 专用,NPU 上回退到 scaled_dot_product_attention(attention.py 加 npu 分支)。
  • 设备解析 resolve_device():NPU 可用性检测,失败自动回退 CPU。
  • 模型权重不推送到仓库:*.safetensors 已加入 .gitignore。

目录结构

.
├── README.md          # 模型卡片(本文件)
├── inference.py       # NPU 推理脚本
└── assets/            # 适配过程截图素材

引用

  • 模型:https://huggingface.co/ShandaAI/FloodDiffusionTiny
  • 代码:https://github.com/ShandaAI/FloodDiffusion
  • 论文:https://arxiv.org/abs/2512.03520