anning-2026/ppo-Pendulum-v1
模型介绍
文件和版本
Pull Requests
讨论
分析

昇腾 NPU 推理交付说明

本目录为 HumanCompatibleAI/ppo-Pendulum-v1 模型在本地华为昇腾 NPU(Ascend 910)上的推理交付。 该模型是 stable-baselines3 (SB3) 用 PPO 算法在 Pendulum-v1 环境下训练的强化学习策略, 约 9K 参数(ActorCriticPolicy,MLP 64x64),任务是输出连续力矩控制倒立摆平衡(连续动作空间)。

  • 推理引擎:torch_npu(昇腾 NPU 后端)
  • 策略加载:stable-baselines3 PPO.load()
  • 前向方式:手动 get_distribution + mode()(SB3 的 predict() 在 NPU 上因内部 numpy 转换报错)
  • 服务化:FastAPI(server.py,本地保留不入仓),提供 POST /act 与 GET /health

目录结构

ppo-Pendulum-v1/
├── inference.py              # 昇腾 NPU 策略回放推理入口
├── requirements.txt
├── readme.md                 # 本文件
└── assets/                   # 截图占位说明(shot_*.sh 产出的实测截图上传至此)
    └── README.md

本地保留不入仓的产物:server.py(FastAPI 服务)、shot_npu.sh / shot_result.sh / shot_workflow.sh(三张截图的复跑脚本)。

模型权重

模型已下载到 /tmp/ppo-Pendulum-v1/model.zip(SB3 格式,138KB),inference.py 与 server.py 默认从该路径加载。可用 --model_path 参数覆盖。

运行环境

  • 昇腾 NPU:Ascend 910(双卡,HBM 64GB)
  • torch + torch_npu(昇腾 NPU 后端)
  • stable-baselines3(SB3,策略加载与推理)
  • gymnasium(Pendulum-v1 环境回放)

用法

1. 命令行推理

python inference.py                          # 默认 npu:0,跑 3 个 episode
python inference.py --episodes 5             # 跑 5 个 episode
python inference.py --device cpu             # CPU 对比
  • --model_path:SB3 模型 zip 路径(缺省 /tmp/ppo-Pendulum-v1/model.zip)。
  • --device:推理设备(npu:0 / cpu,缺省自动选择)。
  • --episodes:回放 episode 数。

输出:每个 episode 的步数与 reward、连续 action 均值、总耗时。

2. FastAPI 服务化推理

python server.py   # 监听 0.0.0.0:8000

POST /act:

{"observation": [1.0, 0.0, 0.0]}   // Pendulum 状态 [cos_theta, sin_theta, theta_dot]

返回:

{
  "action": [-0.267],
  "device": "npu:0",
  "elapsed_ms": 153.90
}

GET /health 返回 {"status":"ok","model":true,"device":"npu:0"}。

实测结果(Ascend 910, npu:0)

设备episodes平均 reward平均 steps耗时
npu:03-181.7(max -2.9)2000.534s
cpu3-90.5(max -1.7)2000.261s
  • 每个 episode 均跑满 200 步(Pendulum-v1 最大步数),策略稳定输出连续力矩。
  • Pendulum-v1 的 reward 为负值(-x² 惩罚项),模型收敛水平即为负 reward 越小越好; NPU 与 CPU 同策略同环境,episode 间差异来自环境随机初始状态。
  • 服务化(POST /act 输入初始状态):action=[-0.267],elapsed_ms≈154ms(含请求往返)。

截图

三张实测截图位于 assets/,分别对应:

  1. npu_device_call.png — npu-smi info 昇腾卡可见性 + torch_npu.is_available() + CANN 版本与 HBM 占用(shot_npu.sh)。
  2. model_result.png — 命令行 inference.py NPU 策略回放 + NPU vs CPU 精度对比 + FastAPI /health & /act 服务化验证(shot_result.sh)。
  3. agent_workflow.png — Model Agent 昇腾 NPU 适配流程 6 步全览(shot_workflow.sh)。

截图由本地保留的 shot_*.sh 脚本复跑生成(脚本不入仓),上传至 assets/ 目录(见 assets/README.md 占位说明)。

局限

  • SB3 的 policy.predict() 在 NPU 上因内部 numpy() 转换报错,需手动前向(get_distribution),脚本内已处理。
  • Pendulum-v1 环境本身运行在 CPU(gymnasium),仅策略网络前向在 NPU 上执行。
  • 模型为 RL 策略,无监督/无微调接口,仅支持策略推理(观测 → 连续动作)。