模型适配 · 强化学习离散控制(PPO 策略)· 昇腾 NPU
Beta 版本头信息 {hardware NPU}
LunarLander-v2(离散动作空间 Discrete(4),观测 8 维:x, y, vx, vy, θ, ω, leg1, leg2)obs(8) -> Tanh MLP(64 -> 64) -> action_net(4)(argmax 取离散动作)+ 价值分支,共 9,797 参数policy.pth 严格加载(strict 加载,键名一一对应)注:HF 仓库根目录另含
ppo-LunarLander-v2/policy.pth(9 维输入的定制策略结构,与标准 8 维观测不兼容)及 PPO_70/75/84/89/90 训练检查点。本项目选用标准 SB3 MlpPolicy 检查点中表现最优的 PPO_84(10 回合 mean≈287,最接近官方 301)作为weights/policy.pth,其余检查点结构一致,可随时替换。
ppo-LunarLander-v2/
├── inference.py # 推理脚本(NPU 推理 / CPU-NPU 对比 / 回合评估)
├── README.md # 部署说明文档
├── requirements.txt # 环境依赖清单
├── weights/ # 权重目录(首次运行自动从 HF Mirror 下载 policy.pth)
│ └── policy.pth # PPO 策略权重(SB3 state_dict,43 KB)
└── assets/ # 截图素材文件夹
├── agent_workflow.png # 部署/推理流程图
├── npu_device_call.png # NPU 设备调用截图
└── model_result.png # 推理结果截图# 昇腾 CANN 环境
source /usr/local/Ascend/ascend-toolkit/set_env.sh
# 依赖(华为镜像源)
export PIP_INDEX_URL=https://repo.huaweicloud.com/repository/pypi/simple/
pip install -r requirements.txtLunarLander 为 Box2D 物理仿真环境,闭环评估需
box2d-py(编译依赖 swig,若构建失败请先pip install swig并确保SWIG_LIB指向 swig 包内 share 目录)。
# 1) NPU 上闭环评估 3 个回合(默认权重 ./weights/policy.pth,设备 npu:0)
python inference.py --episodes 3 --device npu:0
# 2) CPU 与 NPU 精度对比(同一 obs 序列,输出 cos 相似度 / 最大绝对误差 / 动作一致率)
python inference.py --compare --device npu:0
# 3) 指定权重路径
python inference.py --model /path/to/policy.pth --episodes 5 --device npu:0[env] torch=2.9.0+cpu device=npu:0 npu_avail=True
[load] policy loaded from weights/policy.pth -> npu:0 (9797 params)
[compare] samples=4096
[compare] logits cos=1.000000000 max_abs_err=4.768e-06
[compare] value cos=1.000000103 max_abs_err=1.106e-04
[compare] argmax action agree=100.00%
[eval] evaluate 3 episodes on npu:0 ...
[eval] episode 1: return=313.70 steps=167 avg_step_latency=0.278 ms
[eval] episode 2: return=279.31 steps=187 avg_step_latency=0.250 ms
[eval] episode 3: return=260.41 steps=170 avg_step_latency=0.249 ms
[eval] mean_return=284.47 std=22.06 mean_step_latency=0.259 ms
[done] ppo-LunarLander-v2 inference on Ascend NPU OK| 项目 | 说明 |
|---|---|
| 加载方式 | 非 LLM 模型,torch_npu 直接加载,不走 vLLM-Ascend |
| 权重加载 | 官方 policy.pth 为 SB3 policy state_dict,键名与自包含实现一一对应,strict 加载 0 缺失 0 多余 |
| 动作输出 | 离散动作空间:logits -> argmax 确定性策略,与 SB3 predict(deterministic=True) 一致 |
| 环境 | 环境模拟留在 CPU(gymnasium Box2D),仅策略前向在 NPU,符合强化学习推理惯例 |
| 精度 | 全程 fp32,无 CUDA 依赖,无需改造算子 |