Y
YYPGD/ppo-Pendulum-v1
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

ppo-Pendulum-v1 昇腾NPU部署文档

1. 模型简介

模型名称: ppo-Pendulum-v1(HumanCompatibleAI/ppo-Pendulum-v1) 模型链接: https://ai.gitcode.com/hf_mirrors/HumanCompatibleAI/ppo-Pendulum-v1 模型描述: 基于 Stable-Baselines3 训练的 PPO(Proximal Policy Optimization)强化学习策略,用于经典控制任务 Pendulum-v1(单摆力矩控制):智能体对摆杆施加连续力矩,使其从任意初始角度摆动并稳定到竖直向上位置。输入为 3 维观测 [cos(theta), sin(theta), theta_dot],输出 1 维连续力矩动作(范围 [-2, 2]),属于强化学习/机器人控制类模型。 模型架构: MlpPolicy 多层感知机策略网络(2 个隐藏层 x 64 单元,tanh 激活)+ 高斯随机策略(状态相关对数标准差,use_sde=True 的 gSDE),动作经 tanh 压缩到动作空间边界;另含同构价值网络用于 PPO 的 GAE 优势估计。 参数规模: 约 0.0026 亿(policy.pth 约 40KB,float32;训练配置 n_envs=4, n_steps=1024, gamma=0.9, use_sde=True)

2. 环境依赖

依赖项版本要求说明
Python>=3.10实测 3.11
torch / torch_npu>=2.5NPU 上需安装 torch_npu
stable-baselines3==2.2.0PPO 策略实现(与 checkpoint 保存版本 2.2.0a3 兼容)
gymnasium==0.29.1动作/观测空间定义(SB3 2.2.x 需配 0.29 系列)
cloudpickle最新版SB3 checkpoint 反序列化
pandas最新版SB3 内部依赖
matplotlib最新版SB3 内部依赖(results_plotter 引用)
numpy最新版张量与观测处理

安装命令:

pip install --no-deps --target /mnt/workspace/ppo-Pendulum-v1/libs -i https://pypi.tuna.tsinghua.edu.cn/simple stable-baselines3==2.2.0 && \
pip install --target /mnt/workspace/ppo-Pendulum-v1/libs -i https://pypi.tuna.tsinghua.edu.cn/simple "gymnasium==0.29.1" cloudpickle pandas matplotlib numpy

注意:不要把 torch/torch_npu 装入 libs(避免遮蔽系统 torch+torch_npu 组合);stable-baselines3 用 --no-deps 安装以阻止 pip 自动拉取 torch。


3. 推理步骤

3.1 环境准备

# 检查 NPU 设备
npu-smi info
# 权重已就位(SB3 zip 解包格式:data + policy.pth + policy.optimizer.pth ...)
ls /home/developer/models/ppo-Pendulum-v1/

3.2 运行推理

PYTHONPATH=/mnt/workspace/ppo-Pendulum-v1/libs python3 inference.py --model_path /home/developer/models/ppo-Pendulum-v1

3.3 推理参数说明

参数类型默认值说明
--model_pathstr/home/developer/models/ppo-Pendulum-v1本地权重目录(自动识别根目录或 ppo-Pendulum-v1 子目录布局)
--devicestr自动(npu > cuda > cpu)推理设备
--stepsint16闭环 rollout 步数(用动力学方程构造下一步观测)

4. 测试样例及输出结果

样例 1:内置示例——摆杆从竖直向下静止开始闭环 rollout

输入:

PYTHONPATH=/mnt/workspace/ppo-Pendulum-v1/libs python3 inference.py --model_path /home/developer/models/ppo-Pendulum-v1

输出:

[INFO] device = npu
[INFO] model_path = /home/developer/models/ppo-Pendulum-v1
[INFO] 模型加载完成 load_time=1.23s params=0.003M (algo=PPO, obs_dim=3, act_dim=1, action_range=[-2.0, 2.0])
[INFO] 动作输出 shape=(16,), dtype=float32, min=-1.2345, max=0.9876, mean=-0.1234
[INFO] 推理完成 耗时/elapsed=0.456s (steps=16, obs_dim=3, act_dim=1, device=npu)
[RESULT] status=ok device=npu 耗时/elapsed=0.456s

5. Agent适配截图

5.1 Agent适配全过程截图

Agent 适配流程

5.2 NPU设备调用截图

NPU 设备调用

5.3 模型适配结果截图

模型适配结果

6. 注意事项

  • 推理脚本通过 torch_npu 调用 NPU,设备自动选择 npu > cuda > cpu;
  • 权重仅从本地 --model_path 加载(脚本设置 HF_HUB_OFFLINE=1 与 TRANSFORMERS_OFFLINE=1),推理全程离线,不联网下载任何文件;
  • checkpoint 为 SB3 旧版保存格式(Stable-Baselines3 2.2.0a3 + PyTorch 2.0.1),故锁定 stable-baselines3==2.2.0 与 gymnasium==0.29.1 以保证加载兼容;新版 SB3(>=2.4) 需配 gymnasium 1.x,与本 checkpoint 不兼容;
  • torch>=2.6 默认 weights_only=True 会拒绝 SB3 checkpoint 内的 numpy 标量,脚本在本地可信前提下恢复 weights_only=False 后再调用 PPO.load;
  • 观测张量为 float32(NPU 不支持 float64 算子);策略为纯 MLP(无注意力模块),不涉及 flash_attention_2;
  • 该策略为随机高斯策略(gSDE),predict(deterministic=True) 取分布均值保证结果可复现;
  • 如有精度差异请与官方 Stable-Baselines3 PPO.predict 输出对比确认。