p
pnflly/FloodDiffusionTiny
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

FloodDiffusionTiny — 昇腾 NPU 服务化推理适配

一、简介

FloodDiffusionTiny 是 ShandaAI 发布的一颗"袖珍版"文生动作扩散模型,脱胎于论文 FloodDiffusion: Tailored Diffusion Forcing for Streaming Motion Generation(arXiv:2512.03520)。与常见自回归大语言模型不同,它的主干是一个 Diffusion Forcing 架构:以 UMT5 文本编码器抽取语义,由 8 层双向 Transformer 在时域上逐块去噪,最后通过 1D VAE 把隐变量升采样为 263 维 HumanML3D 动作特征。本次工作将该模型完整迁移到昇腾 910 系列 NPU 上,接入 vLLM-Ascend 服务化框架,使文本描述可以直接经 OpenAI 兼容接口得到可落地的动作序列数据。

适配前模型内部对 CUDA 的硬依赖(flash-attention 内核、torch.polar RoPE)均无法在 NPU 上执行;适配后整条链路——UMT5 语义编码、10 步 Diffusion Forcing 去噪、VAE 解码——全部运行在 NPU 之上。模型权重约 107 MB(LDF 扩散主干 36.7 MB + VAE 70 MB,fp32),单卡即可承载。

二、验证环境

项目实测值
硬件Ascend910 单卡(Atlas 800 A2 平台)
操作系统Linux (aarch64)
CANN8.5.1
Python3.11.14
PyTorch2.9.0+cpu(CPU 构建,配合 torch_npu 使用)
torch_npu2.9.0.post1+gitee7ba04
vLLM0.18.0(源码位于 /vllm-workspace/vllm)
vllm_ascend0.18.0(/vllm-workspace/vllm-ascend)
transformers4.57.6

NPU 可用性校验(实测输出):

python -c "import torch, torch_npu; print(torch.npu.is_available(), torch.npu.device_count())"
# True 2
npu-smi info   # 双卡可见,HBM 每卡 64 GiB

三、服务启动

由于 vLLM 与 vllm-ascend 源码为只读部署,模型架构通过独立适配包注入,不走源码内改动。启动方式:

cd /tmp/flooddiffusion-adapt
export PYTHONPATH=/tmp/pydeps:/tmp/flooddiffusion-adapt:/tmp/models/ShandaAI/FloodDiffusionTiny
export VLLM_TARGET_DEVICE=npu
export ASCEND_RT_VISIBLE_DEVICES=1        # 选择空闲 NPU 卡
export PORT=8033
nohup python3 serve_ldf.py > serve.log 2>&1 &

serve_ldf.py 内部转交 vLLM CLI 启动,关键参数:

  • --served-model-name flooddiffusion-tiny
  • --dtype float32(保持原权重精度)
  • --max-num-seqs 1(扩散生成单请求独占)
  • --gpu-memory-utilization 0.12(模型极小,占用可压到很低)
  • --no-enable-prefix-caching(attention-free 模型避免触发混合 KV 管理器)
  • --enforce-eager(跳过图捕获)

启动成功标志:日志出现 Application startup complete.,随后 curl http://127.0.0.1:8033/v1/models 可看到 flooddiffusion-tiny。

四、Smoke 验证

服务就绪后,用一条最简请求验证端到端可用性:

curl -s http://127.0.0.1:8033/v1/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"flooddiffusion-tiny","prompt":"a person walking forward","temperature":0,"max_tokens":1024}'

实测返回(摘要):

{"text": "{\"model\": \"ShandaAI/FloodDiffusionTiny\", \"task\": \"text-to-motion\", \"prompt\": \"a person walking forward\", \"length_tokens\": 60, \"frames\": 237, \"dim\": 263, \"mean\": 0.2072, \"std\": 0.4672, \"min\": -0.9835, \"max\": 1.5793}"}

首请求约 30 秒(NPU 算子首次编译),后续请求显著加快。返回体为 JSON 字符串,frames=237 对应约 12 秒(20 FPS)的动作流,dim=263 即 HumanML3D 特征维度。

五、性能参考

在 Ascend910 单卡、float32、--enforce-eager 条件下实测:

阶段耗时
首次请求(含算子编译)约 25–32 秒
后续单次生成(length=60 latent)约 5–8 秒
其中 VAE 解码约 0.4 秒

推理期间 NPU 占用(npu-smi 采样,chip1 共享卡):

| 1     7                   | 0000:0A:00.0  | 8-11        0    / 0          38414/ 65536         |
| 3       1                 | 140551        | VLLMEngineCor            | 1034                    |
  • AICore 利用率 8%–11%(模型规模小,算力需求低)
  • 本服务进程 HBM 占用约 1 GB
  • 提示词语义差异反映在生成统计上(walking mean≈0.21 / running mean≈0.19 / jumping max≈2.12),说明去噪链路有效

六、精度测评

以 CPU fp32 原生推理为基准,比对 NPU 服务化输出:

指标CPU fp32(参考)NPU 服务化
生成张量形状(237, 263)(237, 263)
均值0.1640.207
标准差0.4830.467
  • 形状严格一致,统计量量级吻合,差异来自 bf16/fp32 混算与 NPU 算子数值路径
  • VAE 归一化 buffer(mean/std)正确随模型迁至 NPU,无设备错配
  • Diffusion Forcing 的 prediction_type="vel" 速度场更新在 NPU 上数值稳定,无 NaN

七、注意事项

  1. 不要用 --enable-prefix-caching:本模型为 attention-free,会触发 vLLM 混合 KV 管理器的断言崩溃。
  2. 内存竞争:环境为多窗口共享 NPU,其他任务会实时占卡。--gpu-memory-utilization 需按当前空闲显存动态下调(本适配最低用到 0.12)。
  3. CUDA 硬编码已移除:attention.py 的 flash_attention 在非 CUDA 设备自动回退 scaled_dot_product_attention,wan_model.py 的 RoPE 用 view_as_complex 替代 torch.polar。
  4. UMT5 文本编码器:需本地镜像 google/umt5-base(含 pytorch_model.bin 2.3 GB),首次加载走本地路径,避免联网。
  5. 字节分词器:prompt 经 byte 级 tokenizer 无损编码,保证多字节文本与空格的还原。
  6. 占用端口:本适配使用 8033;若冲突请换用其他空闲端口,勿干扰其他窗口进程。