gcw_mXoV1I2Z/ppo-LunarLander-v2
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

ppo-LunarLander-v2 · 昇腾 NPU 适配

SB3 (stable-baselines3) 训练的 PPO 强化学习策略, 环境为 Gymnasium LunarLander-v2。

本仓库为 Ascend 910 (torch-npu) 适配版:

  • 全代码域清除 CUDA 调用, 模型与输入 Tensor 全部迁移到 npu:0
  • 推理输入为环境观测状态 {"observation": [x, y, vx, vy, angle, ω, leg1, leg2]} (8 维), 不是图片
  • 输出为离散动作 action (0~3: 不动 / 左侧发动机 / 主发动机 / 右侧发动机), 并给出动作概率分布
  • 同时提供 CLI 单步推理与 FastAPI POST /predict 服务两种模式

环境

  • Ascend 910 ×1 (推荐 npu:0), CANN ≥ 8.0
  • Python 3.10 / 3.11, torch 2.9.0 + torch_npu 2.9.0.post1
  • pip install -r requirements.txt

权重缓存

权重缓存于 ./model_weights/Tunamelon/ppo-LunarLander-v2/:

文件说明
PPO_90.zipSB3 PPO 策略权重 (标准 ActorCriticPolicy checkpoint, 最佳)
config.jsonSB3 算法超参数 (HF 模型卡)
results.json评测结果 (mean_reward ≈ 301.34)

说明: 仓库内主 ppo-LunarLander-v2.zip 为自定义 9 维 features_extractor 结构 (与 8 维观测不匹配), 无法用现行 SB3 加载; 故使用仓库内标准结构的最佳 checkpoint PPO_90.zip。

缺失时 inference.py 会自动从 hf-mirror.com 下载; 已缓存直接复用。

用法

1. CLI 单步推理

python inference.py --img test_state.json

test_state.json 内容 (8 维观测):

{"observation": [0.0, 1.4, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}

输出:

{
  "action": 2,
  "action_name": "fire_main_engine",
  "num_actions": 4,
  "action_probs": [0.0012, 0.0031, 0.9921, 0.0036],
  "obs": [0.0, 1.4, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0],
  "inference_ms": 8.9,
  "model": "Tunamelon/ppo-LunarLander-v2",
  "actual_device": "npu:0",
  "exit_status": 0
}

2. FastAPI 服务

python inference.py --serve --port 8000

推理请求 (multipart 上传 JSON 文件):

curl -F "file=@test_state.json" http://127.0.0.1:8000/predict

返回 {"action": 2, "action_name": ..., "action_probs": [...], "exit_status": 0, ...}。

观测与动作定义

LunarLander-v2 观测为 8 维: [x, y, 水平速度, 垂直速度, 角度, 角速度, 左腿触地, 右腿触地]。 动作为 4 维离散: 0=不动, 1=左侧发动机, 2=主发动机, 3=右侧发动机。 策略前向使用 PPO CategoricalDistribution 的 mode (概率 argmax) 作为确定性动作, 全部在 NPU 上完成。