liuhongwei-2026/ppo-LunarLander-v2
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

ppo-LunarLander-v2 on Ascend NPU

模型适配 · 强化学习离散控制(PPO 策略)· 昇腾 NPU

Beta 版本头信息 {hardware NPU}

模型简介

  • 源模型:Tunamelon/ppo-LunarLander-v2
  • 算法:PPO(Proximal Policy Optimization),stable-baselines3 训练
  • 环境:Gymnasium LunarLander-v2(离散动作空间 Discrete(4),观测 8 维:x, y, vx, vy, θ, ω, leg1, leg2)
  • 策略结构:obs(8) -> Tanh MLP(64 -> 64) -> action_net(4)(argmax 取离散动作)+ 价值分支,共 9,797 参数
  • 官方指标:mean_reward = 301.34 ± 16.08(LunarLander-v2,deterministic)
  • 适配方式:非 LLM 模型,不走 vLLM-Ascend,使用 torch_npu 直接加载推理;策略实现自包含(不依赖 stable-baselines3 运行时),权重从 policy.pth 严格加载(strict 加载,键名一一对应)

注:HF 仓库根目录另含 ppo-LunarLander-v2/policy.pth(9 维输入的定制策略结构,与标准 8 维观测不兼容)及 PPO_70/75/84/89/90 训练检查点。本项目选用标准 SB3 MlpPolicy 检查点中表现最优的 PPO_84(10 回合 mean≈287,最接近官方 301)作为 weights/policy.pth,其余检查点结构一致,可随时替换。

目录结构

ppo-LunarLander-v2/
├── inference.py        # 推理脚本(NPU 推理 / CPU-NPU 对比 / 回合评估)
├── README.md           # 部署说明文档
├── requirements.txt    # 环境依赖清单
├── weights/            # 权重目录(首次运行自动从 HF Mirror 下载 policy.pth)
│   └── policy.pth      # PPO 策略权重(SB3 state_dict,43 KB)
└── assets/             # 截图素材文件夹
    ├── agent_workflow.png     # 部署/推理流程图
    ├── npu_device_call.png    # NPU 设备调用截图
    └── model_result.png       # 推理结果截图

环境准备

# 昇腾 CANN 环境
source /usr/local/Ascend/ascend-toolkit/set_env.sh

# 依赖(华为镜像源)
export PIP_INDEX_URL=https://repo.huaweicloud.com/repository/pypi/simple/
pip install -r requirements.txt

LunarLander 为 Box2D 物理仿真环境,闭环评估需 box2d-py(编译依赖 swig,若构建失败请先 pip install swig 并确保 SWIG_LIB 指向 swig 包内 share 目录)。

推理运行

# 1) NPU 上闭环评估 3 个回合(默认权重 ./weights/policy.pth,设备 npu:0)
python inference.py --episodes 3 --device npu:0

# 2) CPU 与 NPU 精度对比(同一 obs 序列,输出 cos 相似度 / 最大绝对误差 / 动作一致率)
python inference.py --compare --device npu:0

# 3) 指定权重路径
python inference.py --model /path/to/policy.pth --episodes 5 --device npu:0

实测结果(Ascend 910)

[env] torch=2.9.0+cpu device=npu:0 npu_avail=True
[load] policy loaded from weights/policy.pth -> npu:0 (9797 params)
[compare] samples=4096
[compare]   logits cos=1.000000000  max_abs_err=4.768e-06
[compare]   value  cos=1.000000103  max_abs_err=1.106e-04
[compare]   argmax action agree=100.00%
[eval] evaluate 3 episodes on npu:0 ...
[eval] episode 1: return=313.70 steps=167 avg_step_latency=0.278 ms
[eval] episode 2: return=279.31 steps=187 avg_step_latency=0.250 ms
[eval] episode 3: return=260.41 steps=170 avg_step_latency=0.249 ms
[eval] mean_return=284.47 std=22.06 mean_step_latency=0.259 ms
[done] ppo-LunarLander-v2 inference on Ascend NPU OK
  • 精度:CPU vs NPU 策略输出 cos ≈ 1.000000000,argmax 动作一致率 100%(决策层逐位一致)
  • 性能:单步策略推理延迟约 0.26 ms(NPU)
  • 指标对齐:NPU 闭环回合回报(mean 284.5)与官方基线 mean_reward=301.34±16.08 一致

适配要点

项目说明
加载方式非 LLM 模型,torch_npu 直接加载,不走 vLLM-Ascend
权重加载官方 policy.pth 为 SB3 policy state_dict,键名与自包含实现一一对应,strict 加载 0 缺失 0 多余
动作输出离散动作空间:logits -> argmax 确定性策略,与 SB3 predict(deterministic=True) 一致
环境环境模拟留在 CPU(gymnasium Box2D),仅策略前向在 NPU,符合强化学习推理惯例
精度全程 fp32,无 CUDA 依赖,无需改造算子

参考

  • HuggingFace 模型卡片
  • stable-baselines3 / RL Zoo
  • 部署示例:ai.gitcode.com/xujiashuai/qwen3-0.6b