PPO(Proximal Policy Optimization)智能体玩 CartPole-v1 的强化学习策略网络, 使用 stable-baselines3 训练。 策略网络为 MLP(9K 参数),可离线做出动作决策。
本项目完成策略网络在**华为昇腾 NPU(Ascend 910B)**上的推理适配与验证。
| 项目 | 说明 |
|---|---|
| 网络 | ActorCriticPolicy(MLP,stable-baselines3) |
| 参数量 | 9K |
| 输入 | 观测 obs(4 维:位置/速度/角度/角速度) |
| 输出 | 动作(Discrete(2):向左 / 向右) |
| 权重格式 | zip(ppo-CartPole-v1.zip) |
pip install stable-baselines3 gymnasiumcd /workspace/HumanCompatibleAI_ppo-CartPole-v1
/usr/local/python3.11.14/bin/python3 inference.py \
--model_path /workspace/HumanCompatibleAI_ppo-CartPole-v1_src/ppo-CartPole-v1.zip \
--device npu:0| 参数 | 说明 | 默认值 |
|---|---|---|
--model_path | PPO 权重 zip 路径 | .../ppo-CartPole-v1.zip |
--episodes | 评估回合数 | 1 |
--device | 推理设备(npu:0 / cpu) | npu:0 |
在 NPU 上完整跑一个 CartPole-v1 回合(策略网络在 npu:0 上前向决策):
[info] policy 参数量: 9K
[info] policy 已迁移到 npu:0
[info] obs space: Box(4,) act space: Discrete(2)
============================================================
[info] 回合完成: 500 步, 总奖励 500.0 (满分 500)
============================================================PPO 策略在 NPU 上完成整回合推理(500/500 满分),NPU 推理链路完整跑通。
PPO.load(zip_path) 加载策略,model.policy.to('npu:0') 迁移到 NPU。model.predict(obs, deterministic=True) 在 NPU 上做动作决策。resolve_device():NPU 可用性检测,失败自动回退 CPU。*.zip 已加入 .gitignore。.
├── README.md # 模型卡片(本文件)
├── inference.py # NPU 推理脚本
└── assets/ # 适配过程截图素材