s
stella4528/FloodDiffusion-npu
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

FloodDiffusion — 文本→人体动作生成(昇腾 NPU 适配)

FloodDiffusion(AlayaLab/FloodDiffusion,ShandaAI,arXiv 2512.03520) 是基于 Latent Diffusion Forcing 的流式文本→人体动作生成模型。给定 自然语言提示,生成 263 维 HumanML3D 人体动作序列(20 FPS)。

架构:UMT5-XXL 文本编码器 → DiffForcingWanModel(Transformer 扩散 主干,hidden 1024×8 层,latent 4 维)→ VAEWanModel(1D 卷积 VAE, 4× 上采样)。

已在 Ascend 910(CANN 8.5.1 / torch_npu 2.9.0.post1)上完成真实推理 验证:输入 "a person walking forward"(length=60)→ 输出 (240, 263), NPU_INFERENCE_PASS=True,权重 strict 加载(0 missing / 0 unexpected)。 NPU 适配点:RoPE complex128→float32、flash-attn→scaled_dot_product_attention、 VAE decode 形状处理(详见 readme.md)。

  • 原始仓库:https://huggingface.co/AlayaLab/FloodDiffusion
  • 推理命令:python3 inference.py --device npu:0 --text "a person walking forward"
  • 部署说明见 readme.md,真实 NPU 验证证据见 results/。