华为昇腾模型适配第2期:edbeeching/decision-transformer-gym-hopper-medium 决策 Transformer 模型昇腾 NPU 适配与部署。
本仓库对 Hugging Face 模型 edbeeching/decision-transformer-gym-hopper-medium 进行昇腾 NPU 适配,提供基于 torch_npu 的在线推理服务与命令行推理脚本。
该模型是一个 Decision Transformer(决策 Transformer),基于 GPT-2 骨干网络,在 Gym Hopper 环境的 medium 质量轨迹上训练得到。决策 Transformer(Chen et al., 2021, arXiv:2106.01345)将强化学习问题建模为条件序列建模问题:给定历史状态、动作与"剩余回报(returns-to-go)",模型自回归地预测下一个动作。
模型关键信息:
| 属性 | 值 |
|---|---|
| 模型类型 | Decision Transformer(GPT-2 骨干) |
| 参数量 | 858,767 |
| hidden_size / n_embd | 128 / 768 |
| 层数 n_layer | 3 |
| 注意力头 n_head | 1 |
| state_dim | 11 |
| act_dim | 3 |
| max_ep_len | 1000 |
| 权重格式 | pytorch_model.bin(fp32) |
| 环境 | Gym Hopper(medium 轨迹) |
适配结论: 由于 DecisionTransformerModel 并非因果语言模型(Causal LM)架构,vLLM-Ascend 的模型注册表中不包含该架构,无法通过 vLLM 直接服务化。本适配采用 torch_npu 直接部署 + FastAPI 服务化 方案,模型所有算子均为原生 PyTorch 算子(Linear、LayerNorm、ReLU、Dropout、softmax),在昇腾 NPU 上原生可用,无需算子替换。
| 组件 | 版本 |
|---|---|
| 操作系统 | Linux (aarch64) |
| Python | 3.11.14 |
| PyTorch | 2.9.0 |
| torch_npu | 2.9.0.post1 |
| Transformers | 4.57.6 |
| CANN | 8.5.1 |
| NPU | Ascend 910 (npu:0 / npu:1) |
| npu-smi | 25.5.5 |
将模型权重(config.json、pytorch_model.bin、README.md)放入 model/ 目录,或通过环境变量 MODEL_DIR 指定路径。
# 方式一:HTTP 服务模式(默认)
python inference.py --mode service --model_dir ./model --port 8160
# 方式二:指定设备(默认 npu:0)
DEVICE=npu:0 python inference.py --mode service --model_dir ./model --port 8160服务启动后监听 0.0.0.0:8160,模型加载到昇腾 NPU 上。
curl http://localhost:8160/health
# 期望输出:{"status":"ok","device":"npu:0"}python inference.py --mode cli --model_dir ./model输出示例:
=== Inference result ===
Input states shape : (3, 11)
Action prediction (last) : [-0.466375, -0.342971, 0.053256]
Return prediction (last) : -0.402999
State prediction (last) : [0.054436, 0.045985, 0.393533, ...]
Inference time : 4.9 mscurl -X POST http://localhost:8160/predict \
-H "Content-Type: application/json" \
-d '{
"states": [[0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1],
[0.2,0.2,0.2,0.2,0.2,0.2,0.2,0.2,0.2,0.2,0.2],
[0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3]],
"actions": [[0,0,0],[0,0,0],[0,0,0]],
"returns_to_go": [1.0, 0.8, 0.6],
"normalize": true
}'返回:
{
"action_pred": [-0.466375, -0.342971, 0.053256],
"return_pred": -0.402999,
"state_pred": [0.054436, 0.045985, 0.393533, ...],
"seq_len": 3,
"inference_time_ms": 4.9
}在昇腾 Ascend 910 NPU 上,模型推理延迟如下(单请求,batch=1,序列长度 3):
| 指标 | 数值 |
|---|---|
| 平均推理延迟 | 4.9 ms |
| 最小延迟 | 4.8 ms |
| 最大延迟 | 5.0 ms |
| NPU 显存占用(进程) | 156 MB |
| NPU HBM 使用 | 3209 / 65536 MB |
| AICore 利用率 | 极低(模型仅 0.86M 参数,计算瞬时完成) |
说明:该模型参数量仅 85.9 万,推理计算量极小,AICore 利用率在 npu-smi 采样中接近 0%,属正常现象。
在相同输入下对比 CPU(fp32)与 NPU(fp32)推理结果:
| 指标 | CPU | NPU | 差值 |
|---|---|---|---|
| action_pred[0] | 0.68463725 | 0.6846373 | 0.00000005 |
| action_pred[1] | 0.4547831 | 0.4547832 | 0.00000010 |
| action_pred[2] | 0.72207564 | 0.7220755 | 0.00000014 |
| 最大绝对误差 | - | - | 0.00000012 |
| 平均绝对误差 | - | - | 0.00000009 |
| 相对误差 | - | - | ~0.0000% |
结论: NPU 与 CPU 推理结果在 fp32 精度下完全对齐,最大绝对误差 < 1.2e-7,精度无损。
DecisionTransformerModel 架构不在 vLLM 注册表中,无法用 vLLM-Ascend 服务化;本方案采用 torch_npu 直接部署。normalize: true)。若传入已归一化状态,请设置 normalize: false。(seq_len, 11)。--port 更换。DEVICE=npu:1 指定其他 NPU 设备。