eardoi/ppo-CartPole-v1-npu
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

PPO CartPole-v1(昇腾 NPU 适配)

PPO(Proximal Policy Optimization)智能体玩 CartPole-v1 的强化学习策略网络, 使用 stable-baselines3 训练。 策略网络为 MLP(9K 参数),可离线做出动作决策。

本项目完成策略网络在**华为昇腾 NPU(Ascend 910B)**上的推理适配与验证。

模型规格

项目说明
网络ActorCriticPolicy(MLP,stable-baselines3)
参数量9K
输入观测 obs(4 维:位置/速度/角度/角速度)
输出动作(Discrete(2):向左 / 向右)
权重格式zip(ppo-CartPole-v1.zip)

环境准备

pip install stable-baselines3 gymnasium

推理

cd /workspace/HumanCompatibleAI_ppo-CartPole-v1
/usr/local/python3.11.14/bin/python3 inference.py \
    --model_path /workspace/HumanCompatibleAI_ppo-CartPole-v1_src/ppo-CartPole-v1.zip \
    --device npu:0

参数

参数说明默认值
--model_pathPPO 权重 zip 路径.../ppo-CartPole-v1.zip
--episodes评估回合数1
--device推理设备(npu:0 / cpu)npu:0

验证结果(Ascend 910B, npu:0)

在 NPU 上完整跑一个 CartPole-v1 回合(策略网络在 npu:0 上前向决策):

[info] policy 参数量: 9K
[info] policy 已迁移到 npu:0
[info] obs space: Box(4,)  act space: Discrete(2)
============================================================
[info] 回合完成: 500 步, 总奖励 500.0 (满分 500)
============================================================

PPO 策略在 NPU 上完成整回合推理(500/500 满分),NPU 推理链路完整跑通。

适配说明

  • 通过 PPO.load(zip_path) 加载策略,model.policy.to('npu:0') 迁移到 NPU。
  • 每步用 model.predict(obs, deterministic=True) 在 NPU 上做动作决策。
  • 设备解析 resolve_device():NPU 可用性检测,失败自动回退 CPU。
  • 模型权重不推送到仓库:*.zip 已加入 .gitignore。

目录结构

.
├── README.md          # 模型卡片(本文件)
├── inference.py       # NPU 推理脚本
└── assets/            # 适配过程截图素材

引用

  • 模型:https://huggingface.co/HumanCompatibleAI/ppo-CartPole-v1
  • 库:https://github.com/DLR-RM/stable-baselines3