HumanCompatibleAI/ppo-Pendulum-v1 是一个使用 stable-baselines3 PPO + MlpPolicy
(use_sde=True)在 Pendulum-v1 上训练的强化学习策略,将连续状态观测
[cos(theta), sin(theta), thetadot](Box(3,), float32)映射为连续力矩动作
Box(-2.0, 2.0)。本仓库将其适配为单卡昇腾 Ascend NPU(npu:0)真实推理。
sb3-policy(经典 RL 策略,直接 观测→动作 映射)stable_baselines3.PPO.load(path, device="npu:0")Box([-1, -1, -8], [1, 1, 8], (3,), float32)Box(-2.0, 2.0, (1,), float32),model.predict 输出裁剪到合法边界ActorCriticPolicy,StateDependentNoiseDistribution(SDE),共 9026 参数在昇腾 Ascend910(torch.npu / CANN 8.5.1)上使用固定 revision
6a0fe838119427278252dde3bf723ed7a3266df5 的本地权重进行验证:
npu:0,torch.npu.is_available()=True,策略参数/观测/输出均在 npu:0闭环 rollout 仅为附加 policy quality 信号,不替代目标权重在真实
npu:0的 单步推理数值一致性证明。
# 1) 安装依赖
pip install -r requirements.txt
# 2) 获取权重(本仓库不提交权重文件)
# 从 https://huggingface.co/HumanCompatibleAI/ppo-Pendulum-v1 下载 ppo-Pendulum-v1.zip
# (国内镜像 https://hf-mirror.com/HumanCompatibleAI/ppo-Pendulum-v1)
# 3) NPU 推理
python inference.py --model-path ppo-Pendulum-v1.zippython inference.py 从本地模型加载并打印模型/revision、route、backend、device、
dtype、输入摘要、动作/价值摘要、同步耗时与 PASS/FAIL,退出码 0/1。
npu-smi、NPU availability、设备名、模型/输入/输出 devicepython inference.py 的模型、route、ActionPlan、同步耗时与最终状态ascend910_9391,CANN 8.5.1,torch_npu)。