w
gcw_uQ09W7jl/ppo-CartPole-v1-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

HumanCompatibleAI/ppo-CartPole-v1 NPU 适配

模型任务与契约

  • 任务:离散强化学习 CartPole-v1 倒立摆平衡控制,观测为 4 维连续向量,输出为 2 离散动作的贪心决策。
  • 架构:Stable-Baselines3 PPO MlpPolicy 4 ->64 Tanh ->64 Tanh ->2 logits,9155 参数,float32,Discrete(2),无归一化,Tanh 激活,ActorCritic 共享 FlattenExtractor。
  • 观测 schema:obs [B,4] float32,维度 [cart_pos, cart_vel, pole_angle, pole_ang_vel],取值范围 [-4.8,4.8] [-inf,inf] [-0.418,0.418] [-inf,inf],本次固定 batch=8 种子 0,hash efc40145060ba0d4,示例 obs0 [0,0,0,0] obs1 [0.5,0.3,0.1,-0.2] obs2 [-0.5,-0.3,-0.1,0.2]。
  • 动作 schema:logits [B,2] float32 → softmax -> probs [B,2] → argmax -> deterministic [B] in {0,1},horizon=1 decision,action_dim=2,对应 CartPole-v1 离散 2 动作(0 左移, 1 右移);本次 det [1,1,0,1,0,1,0,1]。
  • 权重:https://huggingface.co/HumanCompatibleAI/ppo-CartPole-v1 ,revision main,ppo-CartPole-v1.zip 139331 bytes (policy.pth 40641 + data 14831),约 9.2K 参数,本仓通过本地 /opt/atomgit/adapt-npu-agent/working/models/ppo-CartPole-v1/ppo-CartPole-v1.zip 加载,兼容 snapshot_download HF_ENDPOINT https://hf-mirror.com。

真实结果

  • 设备:Ascend910_9362,npu:0,torch_npu 2.9.0.post1+gitee7ba04,torch 2.9.0+cpu,CANN 8.5.1,2 cards 使用 npu:0,npu-smi 正常,torch.npu.is_available() true。
  • 输入:obs [8,4] float32 hash efc40145060ba0d4,obs_npu npu:0 float32,obs_cpu cpu float32,首参 npu:0 float32 [64,4] 与 cpu float32 [64,4] 对照。
  • 输出:
    • CPU logits [8,2] batch0 [-12.70906, -2.86e-06] probs [3.02e-06, 0.999997] batch1 [-32.5187,0] probs [7.5e-15,1] batch2 [0,-24.116] probs [1,3.36e-11] det [1,1,0,1,0,1,0,1] device cpu。
    • NPU 同形状 [8,2] npu:0 float32 batch0 [-12.70906,-2.86e-06] batch2 [0,-24.1161] det [1,1,0,1,0,1,0,1] device npu:0,features npu:0 latent npu:0 logits npu:0 actions npu:0,无 CPU fallback。
    • 有限值 PASS,shape 一致 [8,2],动作在 [0,1] bounds 内。
  • 一致性:CPU vs NPU 同权重同观测 logits max_abs 7.629e-06 mean_abs 1.192e-06 probs max_abs 5.9e-12,tolerance 0.0364 (atol 1e-4 + rtol 1e-3 * max_ref 36.31),det 完全相等,PASS,validate_policy_outputs.py count 16 finite true passed true。
  • 性能:首轮编译 141-150 ms(含图编译),warmup 3,稳定 avg 0.493-0.499 ms min 0.467 max 0.553 p50 0.505 p90 0.512 p95 0.553(10 runs),~16018-16480 decisions/s / ~16018 actions/s,batch 8, obs 4, horizon 1, float32,torch.npu.synchronize() 包围计时,吞吐 decisions_per_s = batch*1000/avg。

CPU-NPU 一致性

  • 共享权重(同 policy.pth 9155 参数)、观测(同 batch 8 固定向量 hash efc40145060ba0d4)、dtype(float32)、采样(deterministic argmax)、seed(0 固定观测,采样无随机)、evaluation mode。
  • validate_policy_outputs.py --atol 1e-4 --rtol 1e-3 阈值 FP32 默认,真实 max_abs 7.6e-06 远小于阈值 0.036。
  • 设备证明:first_param_device npu:0(CPU 对照为 cpu),obs_npu npu:0,features_npu npu:0,latent npu:0,logits npu:0,actions npu:0,无 .cpu() 隐式路径。

性能

  • 首轮 145 ms,稳态 0.49 ms,吞吐 16000+ decisions/s。0.009M MLP 在 NPU 上极低延迟,适合实时控制。benchmark_policy.py avg_ms 0.499 decisions_per_s 16018。

环境限制

  • 单卡 npu:0 即可,模型 9K 参数 <1MB,显存 <100MB,远低于 64GB HBM。
  • 依赖:torch 2.9, torch_npu 2.9.post1, numpy, gymnasium, stable-baselines3, huggingface_hub,无需额外自定义算子。
  • 已知:CartPole-v1 环境 Box(4) Discrete(2),训练 100k steps,batch 256,gamma 0.98;推理仅验证离散 logits/probs/argmax 而非闭环 Gym rollout;环境 reward 500 +/-0 为额外评估,不替代数值一致性。

复现

python inference.py
# 自动解析 /opt/atomgit/adapt-npu-agent/working/models/ppo-CartPole-v1/ppo-CartPole-v1.zip 或 snapshot_download
# 打印模型/revision/route/backend/device/dtype、输入摘要、logits/det 摘要、同步耗时、PASS/FAIL

证据图

  • agent workflow
  • npu device call
  • model result

仓库结构

inference.py
readme.md
requirements.txt
assets/agent_workflow.png
assets/npu_device_call.png
assets/model_result.png

许可证 MIT;权重遵循原 HumanCompatibleAI/ppo-CartPole-v1。