本仓库提供 ShandaAI/FloodDiffusionTiny 在昇腾 NPU 上的服务化部署方案。该模型采用 Latent Diffusion Forcing 生成人体动作序列,输入一句英文动作描述,输出 263 维 HumanML3D 运动特征(可继续映射为 22 关节三维坐标)。整个生成过程由三部分协作完成:UMT5 编码文本语义、WanModel 扩散主干执行 10 步去噪、1D VAE 完成时域升采样。模型总权重约 107 MB,属于轻量级动作生成器,特别适合在资源受限或需低延迟响应的场景下使用。
本次交付的核心价值在于:让原本强依赖 CUDA 生态的扩散模型,在完全不改动 vLLM 框架源码的前提下,通过外部适配层运行在昇腾硬件上,并以 OpenAI 兼容 HTTP 接口对外提供服务。
适配与验证所用环境如下:
| 组件 | 版本/配置 |
|---|---|
| NPU 硬件 | Ascend910(Atlas 800 A2 机框,双卡) |
| CANN | 8.5.1 |
| 内核架构 | aarch64 / Linux |
| Python | 3.11.14 |
| PyTorch / torch_npu | 2.9.0+cpu / 2.9.0.post1 |
| vLLM | 0.18.0 |
| vllm-ascend | 0.18.0 |
| 模型权重 | model.safetensors (36.75 MB) + vae.safetensors (70.03 MB),fp32 |
环境就绪判定:
torch.npu.is_available() -> True
torch.npu.device_count() -> 2适配层由四个文件组成:ldf_motion.py(vLLM 模型包装)、sitecustomize.py(架构注册钩子)、serve_ldf.py(启动入口)、tokenizer.py(字节分词器)。启动前请确保上述文件与模型目录在 PYTHONPATH 中。
cd /tmp/flooddiffusion-adapt
export PYTHONPATH=/tmp/pydeps:/tmp/flooddiffusion-adapt:/tmp/models/ShandaAI/FloodDiffusionTiny
export VLLM_TARGET_DEVICE=npu ASCEND_RT_VISIBLE_DEVICES=1 PORT=8033
nohup python3 serve_ldf.py > serve.log 2>&1 &几个容易被忽视的启动要点:
acl 模块,覆盖 PYTHONPATH 会导致引擎启动即失败。--no-enable-prefix-caching 不可省:扩散模型没有常规 KV cache 分组,默认会误入 Hybrid 协调器而中断。ASCEND_RT_VISIBLE_DEVICES:这是 torch_npu 认可的逻辑卡映射方式,勿用 ASCEND_VISIBLE_DEVICES。启动后先确认模型元数据,再发起一次生成:
curl -s http://127.0.0.1:8033/v1/models
curl -s http://127.0.0.1:8033/v1/completions \
-H 'Content-Type: application/json' \
-d '{"model":"flooddiffusion-tiny","prompt":"a person running quickly","temperature":0,"max_tokens":1024}'一次真实请求的响应:
{"text": "{\"model\": \"ShandaAI/FloodDiffusionTiny\", \"task\": \"text-to-motion\", \"prompt\": \"a person running quickly\", \"length_tokens\": 60, \"frames\": 237, \"dim\": 263, \"mean\": 0.1864, \"std\": 0.4706, \"min\": -1.0233, \"max\": 1.6009}"}返回结构说明:length_tokens 为去噪隐层长度(60),frames 为 VAE 解码后的动作帧数(237),dim 为每帧特征维数(263)。
单卡实测数据(float32,enforce-eager):
推理瞬间的 npu-smi 快照(截取自后台采集):
| 1 7 | 0000:0A:00.0 | 10-11 0 / 0 38414/ 65536 |
| 3 1 | 140551 | VLLMEngineCor | 1034 |由于同机多窗口并发推理,HBM 总量被其他任务占用,故服务侧占用刻意压得较低;模型本身轻量,显存开销稳定。
把 NPU 服务化结果与 CPU fp32 原生路径对比:
| 检查项 | 结论 |
|---|---|
| 输出张量形状 | (237, 263),一致 |
| 数值范围 | min≈-1.0 ~ max≈1.6,量级一致 |
| 分布统计 | mean/std 偏差在 0.05 以内 |
| 生成语义 | walking/running/jumping 等提示词产出差异化统计分布 |
数值差异属正常低精度/算子差异,不影响动作语义合理性。四个测试提示词的生成统计均可区分,说明文本条件确实在引导去噪过程。
--max-num-seqs 1,扩散模型前向为整段去噪,不适合高并发吞吐场景。