L
Lumiire/FloodDiffusionTiny
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

FloodDiffusionTiny

基于昇腾 Ascend NPU 的文本到人体动作生成模型适配仓库。

简介

FloodDiffusionTiny 是 FloodDiffusion 系列的轻量化版本,专注于从自然语言描述生成连续人体运动序列。本仓库完成了该模型在华为昇腾 Ascend NPU 平台上的适配工作,支持通过文本描述驱动生成 263 维 HumanML3D 特征或 22 个关节点的三维坐标数据。

原始模型由 ShandaAI 团队基于 Diffusion Forcing 框架提出,本适配版本在保留原始模型能力的基础上,将推理后端从 CUDA 迁移至昇腾 NPU,实现了完整的服务化部署与推理验证。

验证环境

组件规格
操作系统Linux (aarch64)
NPU 型号Ascend 910B
NPU 驱动CANN 8.5.1
PyTorch2.9.0
torch_npu2.9.0.post1
Python3.11.14
模型权重36MB (model.safetensors) + 70MB (vae.safetensors)
文本编码器google/umt5-base (2.3GB)

服务启动

方式一:命令行推理

# 单次推理
python3 inference.py --text "a person walking forward" --length 60

# 输出关节点坐标
python3 inference.py --text "a person waving hand" --length 40 --output-joints

# 保存结果到文件
python3 inference.py --text "a person jumping" --length 50 --save motion.npy

方式二:服务化部署

# 启动 FastAPI 服务(默认端口 8006)
python3 service.py 8006

# 健康检查
curl http://localhost:8006/health

# 调用推理接口
curl -X POST http://localhost:8006/generate \
  -H "Content-Type: application/json" \
  -d '{"text": "a person walking forward", "length": 60, "num_denoise_steps": 20}'

Smoke 验证

启动服务后执行以下命令确认服务正常运行:

# 1. 健康检查应返回 {"status":"ok","model_loaded":true}
curl http://localhost:8006/health

# 2. 简单的推理测试
curl -X POST http://localhost:8006/generate \
  -H "Content-Type: application/json" \
  -d '{"text": "a person walking", "length": 30, "num_denoise_steps": 10}'

# 3. 批量推理测试
curl -X POST http://localhost:8006/generate \
  -H "Content-Type: application/json" \
  -d '{"text": ["walk", "run"], "length": [30, 20]}'

性能参考

在 Ascend 910B NPU 上的实测性能数据:

推理参数帧数耗时输出维度
length=60, steps=20237帧12.5秒237x263
length=40, steps=20157帧8.1秒157x263
length=50, steps=20197帧10.1秒197x263

NPU 显存占用约 238MB,运行过程中 NPU 温度稳定在 45°C 左右。

精度测评

推理输出验证标准:

  • 输出形状符合预期:输入 length=N 时,输出帧数约为 N*4(受 VAE 上采样影响)
  • 输出数值范围合理:特征值通常在 [-1.5, 2.0] 区间内
  • 相邻帧之间具有连续性,不存在跳变

以 "a person walking forward"(length=60)为例,生成的 263 维特征前 8 维在前 3 帧的数值连续性好,表明运动平滑度符合预期。

注意事项

  1. 模型初次加载时需要下载 umt5-base 文本编码器(约 2.3GB),建议提前配置好网络环境或使用镜像源
  2. 昇腾 NPU 环境下 flash attention 不可用,已自动降级为 PyTorch 原生 scaled_dot_product_attention
  3. 运行前请确保 torch_npu 已正确安装且 NPU 驱动版本匹配
  4. 推理时 torch.amp.autocast 需指定 NPU 设备类型,当前适配版本已自动处理
  5. 建议使用 num_denoise_steps=20 作为默认推理步数,兼顾质量与速度
  6. 若需使用多段文本过渡(text transitions),text_end 参数长度必须与文本段数严格一致