SB3 (stable-baselines3) 训练的 PPO 强化学习策略, 环境为 Gymnasium LunarLander-v2。
本仓库为 Ascend 910 (torch-npu) 适配版:
npu:0{"observation": [x, y, vx, vy, angle, ω, leg1, leg2]} (8 维), 不是图片action (0~3: 不动 / 左侧发动机 / 主发动机 / 右侧发动机), 并给出动作概率分布POST /predict 服务两种模式npu:0), CANN ≥ 8.0pip install -r requirements.txt权重缓存于 ./model_weights/Tunamelon/ppo-LunarLander-v2/:
| 文件 | 说明 |
|---|---|
PPO_90.zip | SB3 PPO 策略权重 (标准 ActorCriticPolicy checkpoint, 最佳) |
config.json | SB3 算法超参数 (HF 模型卡) |
results.json | 评测结果 (mean_reward ≈ 301.34) |
说明: 仓库内主
ppo-LunarLander-v2.zip为自定义 9 维 features_extractor 结构 (与 8 维观测不匹配), 无法用现行 SB3 加载; 故使用仓库内标准结构的最佳 checkpointPPO_90.zip。
缺失时 inference.py 会自动从 hf-mirror.com 下载; 已缓存直接复用。
python inference.py --img test_state.jsontest_state.json 内容 (8 维观测):
{"observation": [0.0, 1.4, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}输出:
{
"action": 2,
"action_name": "fire_main_engine",
"num_actions": 4,
"action_probs": [0.0012, 0.0031, 0.9921, 0.0036],
"obs": [0.0, 1.4, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0],
"inference_ms": 8.9,
"model": "Tunamelon/ppo-LunarLander-v2",
"actual_device": "npu:0",
"exit_status": 0
}python inference.py --serve --port 8000推理请求 (multipart 上传 JSON 文件):
curl -F "file=@test_state.json" http://127.0.0.1:8000/predict返回 {"action": 2, "action_name": ..., "action_probs": [...], "exit_status": 0, ...}。
LunarLander-v2 观测为 8 维: [x, y, 水平速度, 垂直速度, 角度, 角速度, 左腿触地, 右腿触地]。
动作为 4 维离散: 0=不动, 1=左侧发动机, 2=主发动机, 3=右侧发动机。
策略前向使用 PPO CategoricalDistribution 的 mode (概率 argmax) 作为确定性动作, 全部在 NPU 上完成。