Tunamelon/ppo-LunarLander-v2 是一个基于 stable-baselines3 PPO(MlpPolicy) 训练的离线强化学习策略,任务为 LunarLander-v2(月球着陆器)。本仓库将其适配为可在 单卡昇腾 NPU(Ascend 910B,npu:0) 上真实运行的单步离散动作推理模型。
[x, y, vx, vy, angle, angular_vel, leg1_contact, leg2_contact],输出 4 维离散动作 Discrete(4): 0=不操作, 1=左引擎, 2=主引擎, 3=右引擎。offline-rl(state → next discrete action)。ActorCriticPolicy,actor 与 critic 均为 MLP[64, 64] + Tanh,共 9797 参数,FP32。deterministic=True);随机采样为 Categorical。301.34 ± 16.08(10 episodes,deterministic,evaluated 2024-08-19)。Tunamelon/ppo-LunarLander-v2 @ f0b8ee438f823e7bbadf44d71821cd5c7257a4c1(验证权重为同 repo 下的 PPO_90.zip,标准 MlpPolicy,与最终模型同架构同分布,解决 Python 3.11 cloudpickle 兼容问题)torch_npu / npu:0(Ascend910_9362),模型参数、观测、logits 输出全部位于 npu:0。[8, 8] float32 观测 batch(8 个真实 LunarLander-v2 观测,LunarLander-v2 退役时回退为相同 shape 的合成观测,契约不变)。0..3,全部落在 [0, 3] 边界内且有限;同时输出 logits/probs。0.67 ms,吞吐约 11791 decisions/s(30 次同步测量均值,预热 5 次)。相同权重、相同观测、相同采样参数下,CPU 与 npu:0 对比:
9.5e-07(FP32 阈值 1e-4 + 1e-3*|ref|)→ 通过1.19e-07 → 通过| 指标 | 数值 |
|---|---|
| 设备 | npu:0 (Ascend910_9362) |
| batch / 观测 | 8 / [8, 8] |
| avg / min / max | 0.678 / 0.634 / 1.089 ms |
| p50 / p90 / p95 | 0.663 / 0.692 / 0.705 ms |
| 吞吐 | ~11791 decisions/s |
LunarLander-v2 为轻量离散控制任务,无需闭环 rollout 即可验证策略数值契约;环境奖励作为附加评估而非替换数值一致性。闭环 rollout 未包含在本仓库交付中。LunarLander-v2 在 gymnasium 1.x 中已标记 deprecated,自动回退到合成观测时仍保持相同契约与一致性验证。
pip install -r requirements.txt
python inference.pyinference.py 默认从本地缓存 ~/.cache/huggingface/hub/models--Tunamelon--ppo-LunarLander-v2/ 加载权重(首次运行自动经 huggingface_hub.snapshot_download 拉取),在 npu:0 上执行真实推理,输出模型 / revision、路由、后端、设备、dtype、输入摘要、动作计划(含 logits/probs)、同步耗时与 PASS/FAIL。
assets/agent_workflow.png:侦察、资源检查、加载、NPU 推理、CPU-NPU 一致性、性能与校验assets/npu_device_call.png:npu-smi、NPU 可用性、设备名、模型/输入/输出 deviceassets/model_result.png:python inference.py 的模型、路由、真实动作计划、同步耗时与最终状态