gcw_6a3w2yXz/FloodDiffusionTiny-NPU-model
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

FloodDiffusionTiny on Ascend NPU

  1. 模型简介 FloodDiffusionTiny 是一个基于 Latent Diffusion Forcing 的文本到动作生成模型。它可以从文本描述生成人体运动序列,支持 263 维 HumanML3D 特征输出和 22×3 关节坐标输出。该模型使用 Diffusion Forcing 技术实现流式运动生成。

  2. 验证环境

  • 硬件:Ascend 910B NPU
  • 操作系统:Linux
  • Python:3.11
  • PyTorch:2.0+
  • torch_npu:最新版本
  • transformers:4.30.0+
  1. 安装依赖
pip install torch torch_npu transformers huggingface_hub safetensors diffusers lightning ftfy omegaconf numpy
  1. NPU 推理
python inference.py
  1. 真实推理结果
  • NPU 设备:Ascend910_9362
  • 模型加载时间:约 8-9 秒
  • 推理时间:约 3.5 秒(20 个 latent tokens,约 77 帧)
  • 输出形状:(77, 263) - 77 帧,263 维特征
  • 输出范围:[-1.0219, 1.5583]
  • 关节坐标输出形状:(77, 22, 3) - 77 帧,22 个关节,3 维坐标
  1. CPU-NPU 一致性验证 本测试为 smoke consistency 验证,使用固定文本提示 "a person walking forward" 生成运动序列。模型在 NPU 上成功运行并生成有效的运动数据。

  2. 性能测试

  • 单次推理延迟:约 3.5 秒
  • 输出帧率:约 22 帧/秒(基于 77 帧输出)
  • 模型大小:约 100MB(model.safetensors + vae.safetensors)
  1. 已知限制
  • 模型需要从 HuggingFace 下载 google/umt5-base 作为文本编码器(首次运行需要网络)
  • NPU 上使用标准注意力机制替代 Flash Attention
  • 不支持流式生成模式(stream_generate)
  • 不支持 video 输出格式