L
Lumiire/decision-transformer-gym-hopper-medium-2026-08-19
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

decision-transformer-gym-hopper-medium

华为昇腾模型适配第2期:edbeeching/decision-transformer-gym-hopper-medium 决策 Transformer 模型昇腾 NPU 适配与部署。

简介

本仓库对 Hugging Face 模型 edbeeching/decision-transformer-gym-hopper-medium 进行昇腾 NPU 适配,提供基于 torch_npu 的在线推理服务与命令行推理脚本。

该模型是一个 Decision Transformer(决策 Transformer),基于 GPT-2 骨干网络,在 Gym Hopper 环境的 medium 质量轨迹上训练得到。决策 Transformer(Chen et al., 2021, arXiv:2106.01345)将强化学习问题建模为条件序列建模问题:给定历史状态、动作与"剩余回报(returns-to-go)",模型自回归地预测下一个动作。

模型关键信息:

属性值
模型类型Decision Transformer(GPT-2 骨干)
参数量858,767
hidden_size / n_embd128 / 768
层数 n_layer3
注意力头 n_head1
state_dim11
act_dim3
max_ep_len1000
权重格式pytorch_model.bin(fp32)
环境Gym Hopper(medium 轨迹)

适配结论: 由于 DecisionTransformerModel 并非因果语言模型(Causal LM)架构,vLLM-Ascend 的模型注册表中不包含该架构,无法通过 vLLM 直接服务化。本适配采用 torch_npu 直接部署 + FastAPI 服务化 方案,模型所有算子均为原生 PyTorch 算子(Linear、LayerNorm、ReLU、Dropout、softmax),在昇腾 NPU 上原生可用,无需算子替换。

验证环境

组件版本
操作系统Linux (aarch64)
Python3.11.14
PyTorch2.9.0
torch_npu2.9.0.post1
Transformers4.57.6
CANN8.5.1
NPUAscend 910 (npu:0 / npu:1)
npu-smi25.5.5

服务启动

1. 准备模型权重

将模型权重(config.json、pytorch_model.bin、README.md)放入 model/ 目录,或通过环境变量 MODEL_DIR 指定路径。

2. 启动服务

# 方式一:HTTP 服务模式(默认)
python inference.py --mode service --model_dir ./model --port 8160

# 方式二:指定设备(默认 npu:0)
DEVICE=npu:0 python inference.py --mode service --model_dir ./model --port 8160

服务启动后监听 0.0.0.0:8160,模型加载到昇腾 NPU 上。

3. 健康检查

curl http://localhost:8160/health
# 期望输出:{"status":"ok","device":"npu:0"}

Smoke验证

命令行一次性推理

python inference.py --mode cli --model_dir ./model

输出示例:

=== Inference result ===
Input states shape        : (3, 11)
Action prediction (last)  : [-0.466375, -0.342971, 0.053256]
Return prediction (last)  : -0.402999
State prediction (last)   : [0.054436, 0.045985, 0.393533, ...]
Inference time            : 4.9 ms

HTTP 接口推理

curl -X POST http://localhost:8160/predict \
  -H "Content-Type: application/json" \
  -d '{
    "states": [[0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1],
               [0.2,0.2,0.2,0.2,0.2,0.2,0.2,0.2,0.2,0.2,0.2],
               [0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3,0.3]],
    "actions": [[0,0,0],[0,0,0],[0,0,0]],
    "returns_to_go": [1.0, 0.8, 0.6],
    "normalize": true
  }'

返回:

{
  "action_pred": [-0.466375, -0.342971, 0.053256],
  "return_pred": -0.402999,
  "state_pred": [0.054436, 0.045985, 0.393533, ...],
  "seq_len": 3,
  "inference_time_ms": 4.9
}

性能参考

在昇腾 Ascend 910 NPU 上,模型推理延迟如下(单请求,batch=1,序列长度 3):

指标数值
平均推理延迟4.9 ms
最小延迟4.8 ms
最大延迟5.0 ms
NPU 显存占用(进程)156 MB
NPU HBM 使用3209 / 65536 MB
AICore 利用率极低(模型仅 0.86M 参数,计算瞬时完成)

说明:该模型参数量仅 85.9 万,推理计算量极小,AICore 利用率在 npu-smi 采样中接近 0%,属正常现象。

精度测评

在相同输入下对比 CPU(fp32)与 NPU(fp32)推理结果:

指标CPUNPU差值
action_pred[0]0.684637250.68463730.00000005
action_pred[1]0.45478310.45478320.00000010
action_pred[2]0.722075640.72207550.00000014
最大绝对误差--0.00000012
平均绝对误差--0.00000009
相对误差--~0.0000%

结论: NPU 与 CPU 推理结果在 fp32 精度下完全对齐,最大绝对误差 < 1.2e-7,精度无损。

注意事项

  1. 模型非因果 LM:DecisionTransformerModel 架构不在 vLLM 注册表中,无法用 vLLM-Ascend 服务化;本方案采用 torch_npu 直接部署。
  2. 输入归一化:模型在归一化后的状态上训练,推理时默认使用模型卡提供的 mean/std 对状态归一化(normalize: true)。若传入已归一化状态,请设置 normalize: false。
  3. state_dim 固定为 11:Hopper 环境状态维度为 11,传入状态必须为 (seq_len, 11)。
  4. returns_to_go 语义:剩余回报表示从当前步到回合结束的累积回报期望,通常随轨迹递减。
  5. fp32 精度:权重为 fp32,NPU 上保持 fp32 推理以保证与 CPU 精度对齐。
  6. 端口冲突:服务默认监听 8160,如遇端口占用请用 --port 更换。
  7. 设备指定:多卡环境可通过 DEVICE=npu:1 指定其他 NPU 设备。