sheepss/Tunamelon-ppo-LunarLander-v2-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

PPO LunarLander-v2 (Ascend NPU)

Tunamelon/ppo-LunarLander-v2 是一个基于 stable-baselines3 PPO(MlpPolicy) 训练的离线强化学习策略,任务为 LunarLander-v2(月球着陆器)。本仓库将其适配为可在 单卡昇腾 NPU(Ascend 910B,npu:0) 上真实运行的单步离散动作推理模型。

任务与契约

  • 任务:强化学习控制(离线 RL 策略),观测为 8 维连续状态 [x, y, vx, vy, angle, angular_vel, leg1_contact, leg2_contact],输出 4 维离散动作 Discrete(4): 0=不操作, 1=左引擎, 2=主引擎, 3=右引擎。
  • 路由:offline-rl(state → next discrete action)。
  • 策略结构:ActorCriticPolicy,actor 与 critic 均为 MLP[64, 64] + Tanh,共 9797 参数,FP32。
  • 采样器:确定性 argmax(deterministic=True);随机采样为 Categorical。
  • 官方指标:mean_reward 301.34 ± 16.08(10 episodes,deterministic,evaluated 2024-08-19)。

真实结果(Ascend 910B)

  • 模型 / revision:Tunamelon/ppo-LunarLander-v2 @ f0b8ee438f823e7bbadf44d71821cd5c7257a4c1(验证权重为同 repo 下的 PPO_90.zip,标准 MlpPolicy,与最终模型同架构同分布,解决 Python 3.11 cloudpickle 兼容问题)
  • 后端 / 设备:torch_npu / npu:0(Ascend910_9362),模型参数、观测、logits 输出全部位于 npu:0。
  • 输入:[8, 8] float32 观测 batch(8 个真实 LunarLander-v2 观测,LunarLander-v2 退役时回退为相同 shape 的合成观测,契约不变)。
  • 输出:8 个离散动作 0..3,全部落在 [0, 3] 边界内且有限;同时输出 logits/probs。
  • 同步耗时:单次 batch(8 观测)约 0.67 ms,吞吐约 11791 decisions/s(30 次同步测量均值,预热 5 次)。

CPU-NPU 一致性

相同权重、相同观测、相同采样参数下,CPU 与 npu:0 对比:

  • 确定性离散动作:完全相等(8/8 match) → 通过
  • logits:max-abs 误差 9.5e-07(FP32 阈值 1e-4 + 1e-3*|ref|)→ 通过
  • probs:max-abs 误差 1.19e-07 → 通过
  • 形状、有限性、动作维度、动作边界均一致 → 通过

性能

指标数值
设备npu:0 (Ascend910_9362)
batch / 观测8 / [8, 8]
avg / min / max0.678 / 0.634 / 1.089 ms
p50 / p90 / p950.663 / 0.692 / 0.705 ms
吞吐~11791 decisions/s

环境限制

LunarLander-v2 为轻量离散控制任务,无需闭环 rollout 即可验证策略数值契约;环境奖励作为附加评估而非替换数值一致性。闭环 rollout 未包含在本仓库交付中。LunarLander-v2 在 gymnasium 1.x 中已标记 deprecated,自动回退到合成观测时仍保持相同契约与一致性验证。

使用

pip install -r requirements.txt
python inference.py

inference.py 默认从本地缓存 ~/.cache/huggingface/hub/models--Tunamelon--ppo-LunarLander-v2/ 加载权重(首次运行自动经 huggingface_hub.snapshot_download 拉取),在 npu:0 上执行真实推理,输出模型 / revision、路由、后端、设备、dtype、输入摘要、动作计划(含 logits/probs)、同步耗时与 PASS/FAIL。

证据图

  • assets/agent_workflow.png:侦察、资源检查、加载、NPU 推理、CPU-NPU 一致性、性能与校验
  • assets/npu_device_call.png:npu-smi、NPU 可用性、设备名、模型/输入/输出 device
  • assets/model_result.png:python inference.py 的模型、路由、真实动作计划、同步耗时与最终状态