f
fbybl/FloodDiffusionTiny
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

FloodDiffusionTiny 昇腾 NPU 适配(服务化推理)

模型概述

本仓库提供 ShandaAI/FloodDiffusionTiny 在昇腾 NPU 上的服务化部署方案。该模型采用 Latent Diffusion Forcing 生成人体动作序列,输入一句英文动作描述,输出 263 维 HumanML3D 运动特征(可继续映射为 22 关节三维坐标)。整个生成过程由三部分协作完成:UMT5 编码文本语义、WanModel 扩散主干执行 10 步去噪、1D VAE 完成时域升采样。模型总权重约 107 MB,属于轻量级动作生成器,特别适合在资源受限或需低延迟响应的场景下使用。

本次交付的核心价值在于:让原本强依赖 CUDA 生态的扩散模型,在完全不改动 vLLM 框架源码的前提下,通过外部适配层运行在昇腾硬件上,并以 OpenAI 兼容 HTTP 接口对外提供服务。

运行环境与版本

适配与验证所用环境如下:

组件版本/配置
NPU 硬件Ascend910(Atlas 800 A2 机框,双卡)
CANN8.5.1
内核架构aarch64 / Linux
Python3.11.14
PyTorch / torch_npu2.9.0+cpu / 2.9.0.post1
vLLM0.18.0
vllm-ascend0.18.0
模型权重model.safetensors (36.75 MB) + vae.safetensors (70.03 MB),fp32

环境就绪判定:

torch.npu.is_available() -> True
torch.npu.device_count() -> 2

启动指引

适配层由四个文件组成:ldf_motion.py(vLLM 模型包装)、sitecustomize.py(架构注册钩子)、serve_ldf.py(启动入口)、tokenizer.py(字节分词器)。启动前请确保上述文件与模型目录在 PYTHONPATH 中。

cd /tmp/flooddiffusion-adapt
export PYTHONPATH=/tmp/pydeps:/tmp/flooddiffusion-adapt:/tmp/models/ShandaAI/FloodDiffusionTiny
export VLLM_TARGET_DEVICE=npu ASCEND_RT_VISIBLE_DEVICES=1 PORT=8033
nohup python3 serve_ldf.py > serve.log 2>&1 &

几个容易被忽视的启动要点:

  • 必须保留 CANN 的 PYTHONPATH:vllm-ascend 的 worker 需要 acl 模块,覆盖 PYTHONPATH 会导致引擎启动即失败。
  • --no-enable-prefix-caching 不可省:扩散模型没有常规 KV cache 分组,默认会误入 Hybrid 协调器而中断。
  • 设备选择用 ASCEND_RT_VISIBLE_DEVICES:这是 torch_npu 认可的逻辑卡映射方式,勿用 ASCEND_VISIBLE_DEVICES。

快速验证

启动后先确认模型元数据,再发起一次生成:

curl -s http://127.0.0.1:8033/v1/models
curl -s http://127.0.0.1:8033/v1/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"flooddiffusion-tiny","prompt":"a person running quickly","temperature":0,"max_tokens":1024}'

一次真实请求的响应:

{"text": "{\"model\": \"ShandaAI/FloodDiffusionTiny\", \"task\": \"text-to-motion\", \"prompt\": \"a person running quickly\", \"length_tokens\": 60, \"frames\": 237, \"dim\": 263, \"mean\": 0.1864, \"std\": 0.4706, \"min\": -1.0233, \"max\": 1.6009}"}

返回结构说明:length_tokens 为去噪隐层长度(60),frames 为 VAE 解码后的动作帧数(237),dim 为每帧特征维数(263)。

性能表现

单卡实测数据(float32,enforce-eager):

  • 服务预热(模型加载 + 首次算子编译)约 30 秒
  • 稳态单请求生成时长 5–8 秒(随提示词略波动)
  • VAE 解码单独约 0.4 秒,占比低
  • 服务进程 HBM 占用约 1 GB,AICore 峰值利用率约 11%

推理瞬间的 npu-smi 快照(截取自后台采集):

| 1     7                   | 0000:0A:00.0  | 10-11        0    / 0          38414/ 65536     |
| 3       1                 | 140551        | VLLMEngineCor            | 1034              |

由于同机多窗口并发推理,HBM 总量被其他任务占用,故服务侧占用刻意压得较低;模型本身轻量,显存开销稳定。

质量测评

把 NPU 服务化结果与 CPU fp32 原生路径对比:

检查项结论
输出张量形状(237, 263),一致
数值范围min≈-1.0 ~ max≈1.6,量级一致
分布统计mean/std 偏差在 0.05 以内
生成语义walking/running/jumping 等提示词产出差异化统计分布

数值差异属正常低精度/算子差异,不影响动作语义合理性。四个测试提示词的生成统计均可区分,说明文本条件确实在引导去噪过程。

使用提醒

  1. 并发限制:当前配置 --max-num-seqs 1,扩散模型前向为整段去噪,不适合高并发吞吐场景。
  2. 首次请求慢:算子图在首个请求时编译,生产环境建议先发一次预热请求。
  3. 端口规划:默认 8033,若被占用更换端口即可,避免与其他任务冲突。
  4. 权重精度:全程 float32,如需提速可尝试 bf16,但需复测数值稳定性。
  5. UMT5 本地化:文本编码器权重较大(2.3 GB),务必提前下载到本地,避免运行期访问公网。