FloodDiffusionTiny 是 FloodDiffusion (Tailored Diffusion Forcing for Streaming Motion Generation)的精简版, 根据文本描述生成人体运动序列(263 维 HumanML3D 特征)。
本项目完成其在**华为昇腾 NPU(Ascend 910B)**上的推理适配与验证。
| 项目 | 说明 |
|---|---|
| 网络 | LDFModel(Latent Diffusion Forcing + umt5-base 文本编码 + 1D VAE) |
| 参数量 | 9.2M(ldf_model,不含 umt5/VAE) |
| 输入 | 文本描述 + length(latent token 长度,帧数 ≈ length×4) |
| 输出 | 运动序列(frames × 263 HumanML3D 特征) |
| 权重格式 | safetensors(model.safetensors + vae.safetensors) |
pip install torch transformers lightning diffusers omegaconf ftfy numpy safetensorscd /workspace/ShandaAI_FloodDiffusionTiny
export HF_ENDPOINT=https://hf-mirror.com
/usr/local/python3.11.14/bin/python3 inference.py \
--model_path /workspace/ShandaAI_FloodDiffusionTiny_src \
--text "a person walks forward" --length 60 --device npu:0| 参数 | 说明 | 默认值 |
|---|---|---|
--model_path | 权重目录(含 hf_pipeline.py 远程代码) | .../ShandaAI_FloodDiffusionTiny_src |
--text | 运动文本提示 | a person walks forward |
--length | latent token 长度(帧数 ≈ length×4) | 60 |
--num_denoise_steps | 去噪步数 | None(默认) |
--device | 推理设备(npu:0 / cpu) | npu:0 |
--output | 保存运动序列 npy(可选) | stdout |
输入:"a person walks forward",length=60(≈240 帧)
[info] ldf_model 参数量: 9.2M
[info] text: 'a person walks forward' length: 60 (≈240 帧)
============================================================
[info] 输出形状: (237, 263) (frames, 263 HumanML3D 特征)
[info] 运动范围: x∈[-0.14,0.08] y∈[-0.02,0.02]
============================================================FloodDiffusionTiny 在 NPU 上完成文本→运动生成(输出 (237,263) 运动序列), NPU 推理链路完整跑通。
google/umt5-base 在线加载,
改为本地路径 /workspace/google_umt5-base_src(含 tokenizer 与权重)。wan_model.py 原用 torch.polar/view_as_complex(complex128),
NPU 不支持,重写为实数 cos/sin 旋转。scaled_dot_product_attention(attention.py 加 npu 分支)。resolve_device():NPU 可用性检测,失败自动回退 CPU。*.safetensors 已加入 .gitignore。.
├── README.md # 模型卡片(本文件)
├── inference.py # NPU 推理脚本
└── assets/ # 适配过程截图素材