本目录为 HumanCompatibleAI/ppo-Pendulum-v1 模型在本地华为昇腾 NPU(Ascend 910)上的推理交付。
该模型是 stable-baselines3 (SB3) 用 PPO 算法在 Pendulum-v1 环境下训练的强化学习策略,
约 9K 参数(ActorCriticPolicy,MLP 64x64),任务是输出连续力矩控制倒立摆平衡(连续动作空间)。
PPO.load()get_distribution + mode()(SB3 的 predict() 在 NPU 上因内部 numpy 转换报错)server.py,本地保留不入仓),提供 POST /act 与 GET /healthppo-Pendulum-v1/
├── inference.py # 昇腾 NPU 策略回放推理入口
├── requirements.txt
├── readme.md # 本文件
└── assets/ # 截图占位说明(shot_*.sh 产出的实测截图上传至此)
└── README.md本地保留不入仓的产物:server.py(FastAPI 服务)、shot_npu.sh /
shot_result.sh / shot_workflow.sh(三张截图的复跑脚本)。
模型已下载到 /tmp/ppo-Pendulum-v1/model.zip(SB3 格式,138KB),inference.py 与
server.py 默认从该路径加载。可用 --model_path 参数覆盖。
python inference.py # 默认 npu:0,跑 3 个 episode
python inference.py --episodes 5 # 跑 5 个 episode
python inference.py --device cpu # CPU 对比--model_path:SB3 模型 zip 路径(缺省 /tmp/ppo-Pendulum-v1/model.zip)。--device:推理设备(npu:0 / cpu,缺省自动选择)。--episodes:回放 episode 数。输出:每个 episode 的步数与 reward、连续 action 均值、总耗时。
python server.py # 监听 0.0.0.0:8000POST /act:
{"observation": [1.0, 0.0, 0.0]} // Pendulum 状态 [cos_theta, sin_theta, theta_dot]返回:
{
"action": [-0.267],
"device": "npu:0",
"elapsed_ms": 153.90
}GET /health 返回 {"status":"ok","model":true,"device":"npu:0"}。
| 设备 | episodes | 平均 reward | 平均 steps | 耗时 |
|---|---|---|---|---|
| npu:0 | 3 | -181.7(max -2.9) | 200 | 0.534s |
| cpu | 3 | -90.5(max -1.7) | 200 | 0.261s |
POST /act 输入初始状态):action=[-0.267],elapsed_ms≈154ms(含请求往返)。三张实测截图位于 assets/,分别对应:
npu_device_call.png — npu-smi info 昇腾卡可见性 + torch_npu.is_available() + CANN 版本与 HBM 占用(shot_npu.sh)。model_result.png — 命令行 inference.py NPU 策略回放 + NPU vs CPU 精度对比 + FastAPI /health & /act 服务化验证(shot_result.sh)。agent_workflow.png — Model Agent 昇腾 NPU 适配流程 6 步全览(shot_workflow.sh)。截图由本地保留的 shot_*.sh 脚本复跑生成(脚本不入仓),上传至 assets/ 目录(见 assets/README.md 占位说明)。
policy.predict() 在 NPU 上因内部 numpy() 转换报错,需手动前向(get_distribution),脚本内已处理。