m
mengsihan/ppo-Pendulum-v1
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

PPO Pendulum-v1 (stable-baselines3) — Ascend NPU

HumanCompatibleAI/ppo-Pendulum-v1 是一个使用 stable-baselines3 PPO + MlpPolicy (use_sde=True)在 Pendulum-v1 上训练的强化学习策略,将连续状态观测 [cos(theta), sin(theta), thetadot](Box(3,), float32)映射为连续力矩动作 Box(-2.0, 2.0)。本仓库将其适配为单卡昇腾 Ascend NPU(npu:0)真实推理。

路由与契约

  • 路由:sb3-policy(经典 RL 策略,直接 观测→动作 映射)
  • 官方加载后端:stable_baselines3.PPO.load(path, device="npu:0")
  • 观测空间:Box([-1, -1, -8], [1, 1, 8], (3,), float32)
  • 动作空间:Box(-2.0, 2.0, (1,), float32),model.predict 输出裁剪到合法边界
  • 策略:ActorCriticPolicy,StateDependentNoiseDistribution(SDE),共 9026 参数

真实 NPU 验证结果

在昇腾 Ascend910(torch.npu / CANN 8.5.1)上使用固定 revision 6a0fe838119427278252dde3bf723ed7a3266df5 的本地权重进行验证:

  • 设备:npu:0,torch.npu.is_available()=True,策略参数/观测/输出均在 npu:0
  • CPU 与 NPU 共用权重、观测、seed、dtype 与采样算法
  • 一致性(CPU vs NPU,FP32):确定性动作 max-abs ≈ 3.0e-8,动作分布均值 max-abs ≈ 9.5e-7, 分布 stddev max-abs ≈ 6.0e-8,critic value max-abs ≈ 3.8e-6(阈值 1e-3,全部通过)
  • 随机采样:共享 seed,采样动作有限且落在 Box 边界内
  • 性能:单步决策同步耗时 avg ≈ 0.51 ms(p95 ≈ 0.76 ms),约 1860–1970 decisions/s
  • 闭环 rollout(附加质量信号):确定性策略 Pendulum-v1 200 步累计奖励 ≈ -1.35 (该 seed 初始接近竖直,策略可稳定平衡;从底部起摆的 seed 累计奖励约 -136, 与官方 re-eval 均值 -189 的量级一致)

闭环 rollout 仅为附加 policy quality 信号,不替代目标权重在真实 npu:0 的 单步推理数值一致性证明。

使用方法

# 1) 安装依赖
pip install -r requirements.txt

# 2) 获取权重(本仓库不提交权重文件)
#    从 https://huggingface.co/HumanCompatibleAI/ppo-Pendulum-v1 下载 ppo-Pendulum-v1.zip
#    (国内镜像 https://hf-mirror.com/HumanCompatibleAI/ppo-Pendulum-v1)

# 3) NPU 推理
python inference.py --model-path ppo-Pendulum-v1.zip

python inference.py 从本地模型加载并打印模型/revision、route、backend、device、 dtype、输入摘要、动作/价值摘要、同步耗时与 PASS/FAIL,退出码 0/1。

证据图

  • agent_workflow.png:侦察、资源检查、加载、NPU 推理、一致性、性能与校验
  • npu_device_call.png:npu-smi、NPU availability、设备名、模型/输入/输出 device
  • model_result.png:默认 python inference.py 的模型、route、ActionPlan、同步耗时与最终状态

环境限制

  • 当前验证环境为单卡 Ascend910(ascend910_9391,CANN 8.5.1,torch_npu)。
  • 策略很小(9026 参数),单卡显存占用可忽略。
  • 结果基于固定 revision 的本地权重,未替换模型、未随机初始化、无 CPU fallback。