FloodDiffusion(AlayaLab/FloodDiffusion,ShandaAI,arXiv 2512.03520) 是基于 Latent Diffusion Forcing 的流式文本→人体动作生成模型。给定 自然语言提示,生成 263 维 HumanML3D 人体动作序列(20 FPS)。
架构:UMT5-XXL 文本编码器 → DiffForcingWanModel(Transformer 扩散 主干,hidden 1024×8 层,latent 4 维)→ VAEWanModel(1D 卷积 VAE, 4× 上采样)。
已在 Ascend 910(CANN 8.5.1 / torch_npu 2.9.0.post1)上完成真实推理
验证:输入 "a person walking forward"(length=60)→ 输出 (240, 263),
NPU_INFERENCE_PASS=True,权重 strict 加载(0 missing / 0 unexpected)。
NPU 适配点:RoPE complex128→float32、flash-attn→scaled_dot_product_attention、
VAE decode 形状处理(详见 readme.md)。
python3 inference.py --device npu:0 --text "a person walking forward"readme.md,真实 NPU 验证证据见 results/。