FloodDiffusionTiny 是 ShandaAI 发布的一颗"袖珍版"文生动作扩散模型,脱胎于论文 FloodDiffusion: Tailored Diffusion Forcing for Streaming Motion Generation(arXiv:2512.03520)。与常见自回归大语言模型不同,它的主干是一个 Diffusion Forcing 架构:以 UMT5 文本编码器抽取语义,由 8 层双向 Transformer 在时域上逐块去噪,最后通过 1D VAE 把隐变量升采样为 263 维 HumanML3D 动作特征。本次工作将该模型完整迁移到昇腾 910 系列 NPU 上,接入 vLLM-Ascend 服务化框架,使文本描述可以直接经 OpenAI 兼容接口得到可落地的动作序列数据。
适配前模型内部对 CUDA 的硬依赖(flash-attention 内核、torch.polar RoPE)均无法在 NPU 上执行;适配后整条链路——UMT5 语义编码、10 步 Diffusion Forcing 去噪、VAE 解码——全部运行在 NPU 之上。模型权重约 107 MB(LDF 扩散主干 36.7 MB + VAE 70 MB,fp32),单卡即可承载。
| 项目 | 实测值 |
|---|---|
| 硬件 | Ascend910 单卡(Atlas 800 A2 平台) |
| 操作系统 | Linux (aarch64) |
| CANN | 8.5.1 |
| Python | 3.11.14 |
| PyTorch | 2.9.0+cpu(CPU 构建,配合 torch_npu 使用) |
| torch_npu | 2.9.0.post1+gitee7ba04 |
| vLLM | 0.18.0(源码位于 /vllm-workspace/vllm) |
| vllm_ascend | 0.18.0(/vllm-workspace/vllm-ascend) |
| transformers | 4.57.6 |
NPU 可用性校验(实测输出):
python -c "import torch, torch_npu; print(torch.npu.is_available(), torch.npu.device_count())"
# True 2
npu-smi info # 双卡可见,HBM 每卡 64 GiB由于 vLLM 与 vllm-ascend 源码为只读部署,模型架构通过独立适配包注入,不走源码内改动。启动方式:
cd /tmp/flooddiffusion-adapt
export PYTHONPATH=/tmp/pydeps:/tmp/flooddiffusion-adapt:/tmp/models/ShandaAI/FloodDiffusionTiny
export VLLM_TARGET_DEVICE=npu
export ASCEND_RT_VISIBLE_DEVICES=1 # 选择空闲 NPU 卡
export PORT=8033
nohup python3 serve_ldf.py > serve.log 2>&1 &serve_ldf.py 内部转交 vLLM CLI 启动,关键参数:
--served-model-name flooddiffusion-tiny--dtype float32(保持原权重精度)--max-num-seqs 1(扩散生成单请求独占)--gpu-memory-utilization 0.12(模型极小,占用可压到很低)--no-enable-prefix-caching(attention-free 模型避免触发混合 KV 管理器)--enforce-eager(跳过图捕获)启动成功标志:日志出现 Application startup complete.,随后 curl http://127.0.0.1:8033/v1/models 可看到 flooddiffusion-tiny。
服务就绪后,用一条最简请求验证端到端可用性:
curl -s http://127.0.0.1:8033/v1/completions \
-H 'Content-Type: application/json' \
-d '{"model":"flooddiffusion-tiny","prompt":"a person walking forward","temperature":0,"max_tokens":1024}'实测返回(摘要):
{"text": "{\"model\": \"ShandaAI/FloodDiffusionTiny\", \"task\": \"text-to-motion\", \"prompt\": \"a person walking forward\", \"length_tokens\": 60, \"frames\": 237, \"dim\": 263, \"mean\": 0.2072, \"std\": 0.4672, \"min\": -0.9835, \"max\": 1.5793}"}首请求约 30 秒(NPU 算子首次编译),后续请求显著加快。返回体为 JSON 字符串,frames=237 对应约 12 秒(20 FPS)的动作流,dim=263 即 HumanML3D 特征维度。
在 Ascend910 单卡、float32、--enforce-eager 条件下实测:
| 阶段 | 耗时 |
|---|---|
| 首次请求(含算子编译) | 约 25–32 秒 |
| 后续单次生成(length=60 latent) | 约 5–8 秒 |
| 其中 VAE 解码 | 约 0.4 秒 |
推理期间 NPU 占用(npu-smi 采样,chip1 共享卡):
| 1 7 | 0000:0A:00.0 | 8-11 0 / 0 38414/ 65536 |
| 3 1 | 140551 | VLLMEngineCor | 1034 |以 CPU fp32 原生推理为基准,比对 NPU 服务化输出:
| 指标 | CPU fp32(参考) | NPU 服务化 |
|---|---|---|
| 生成张量形状 | (237, 263) | (237, 263) |
| 均值 | 0.164 | 0.207 |
| 标准差 | 0.483 | 0.467 |
prediction_type="vel" 速度场更新在 NPU 上数值稳定,无 NaN--enable-prefix-caching:本模型为 attention-free,会触发 vLLM 混合 KV 管理器的断言崩溃。--gpu-memory-utilization 需按当前空闲显存动态下调(本适配最低用到 0.12)。attention.py 的 flash_attention 在非 CUDA 设备自动回退 scaled_dot_product_attention,wan_model.py 的 RoPE 用 view_as_complex 替代 torch.polar。google/umt5-base(含 pytorch_model.bin 2.3 GB),首次加载走本地路径,避免联网。