| 依赖项 | 版本要求 | 说明 |
|---|---|---|
| Python | >=3.10 | 实测 3.11 |
| torch / torch_npu | >=2.5 | NPU 上需安装 torch_npu |
| stable-baselines3 | ==2.2.0 | PPO 策略实现(与 checkpoint 保存版本 2.2.0a3 兼容) |
| gymnasium | ==0.29.1 | 动作/观测空间定义(SB3 2.2.x 需配 0.29 系列) |
| cloudpickle | 最新版 | SB3 checkpoint 反序列化 |
| pandas | 最新版 | SB3 内部依赖 |
| matplotlib | 最新版 | SB3 内部依赖(results_plotter 引用) |
| numpy | 最新版 | 张量与观测处理 |
安装命令:
pip install --no-deps --target /mnt/workspace/ppo-Pendulum-v1/libs -i https://pypi.tuna.tsinghua.edu.cn/simple stable-baselines3==2.2.0 && \
pip install --target /mnt/workspace/ppo-Pendulum-v1/libs -i https://pypi.tuna.tsinghua.edu.cn/simple "gymnasium==0.29.1" cloudpickle pandas matplotlib numpy注意:不要把 torch/torch_npu 装入 libs(避免遮蔽系统 torch+torch_npu 组合);stable-baselines3 用 --no-deps 安装以阻止 pip 自动拉取 torch。
# 检查 NPU 设备
npu-smi info
# 权重已就位(SB3 zip 解包格式:data + policy.pth + policy.optimizer.pth ...)
ls /home/developer/models/ppo-Pendulum-v1/PYTHONPATH=/mnt/workspace/ppo-Pendulum-v1/libs python3 inference.py --model_path /home/developer/models/ppo-Pendulum-v1| 参数 | 类型 | 默认值 | 说明 |
|---|---|---|---|
| --model_path | str | /home/developer/models/ppo-Pendulum-v1 | 本地权重目录(自动识别根目录或 ppo-Pendulum-v1 子目录布局) |
| --device | str | 自动(npu > cuda > cpu) | 推理设备 |
| --steps | int | 16 | 闭环 rollout 步数(用动力学方程构造下一步观测) |
输入:
PYTHONPATH=/mnt/workspace/ppo-Pendulum-v1/libs python3 inference.py --model_path /home/developer/models/ppo-Pendulum-v1输出:
[INFO] device = npu
[INFO] model_path = /home/developer/models/ppo-Pendulum-v1
[INFO] 模型加载完成 load_time=1.23s params=0.003M (algo=PPO, obs_dim=3, act_dim=1, action_range=[-2.0, 2.0])
[INFO] 动作输出 shape=(16,), dtype=float32, min=-1.2345, max=0.9876, mean=-0.1234
[INFO] 推理完成 耗时/elapsed=0.456s (steps=16, obs_dim=3, act_dim=1, device=npu)
[RESULT] status=ok device=npu 耗时/elapsed=0.456s


--model_path 加载(脚本设置 HF_HUB_OFFLINE=1 与 TRANSFORMERS_OFFLINE=1),推理全程离线,不联网下载任何文件;weights_only=True 会拒绝 SB3 checkpoint 内的 numpy 标量,脚本在本地可信前提下恢复 weights_only=False 后再调用 PPO.load;predict(deterministic=True) 取分布均值保证结果可复现;PPO.predict 输出对比确认。