w
gcw_uQ09W7jl/dqn-LunarLander-v2-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

sb3/dqn-LunarLander-v2 - Ascend NPU 适配

本仓库为 sb3/dqn-LunarLander-v2 在华为昇腾 Ascend 910B (npu:0) 上的适配版本,路由 offline-rl。

模型信息

  • 原始模型: sb3/dqn-LunarLander-v2 revision 3f631509a3a70816ba982661e79a1f25f2e617bb
  • 任务: 强化学习 Discrete DQN for LunarLander-v2 (Gymnasium LunarLander-v2, obs 8维, 动作离散 4: 0=noop,1=left,2=main,3=right)
  • 后端: SB3 DQN MlpPolicy net_arch [256,256] ReLU (8→256→256→4, 69124 params, Q-network)
  • 精度: torch.float32
  • 输入契约: observation shape (B,8) float32, 示例 batch 4 已固定: [0,1,0,-0.2,0,0,0,0] 等 (hash 0948616b183b9510)
  • 输出契约: q_values shape (B,4) float32, action = argmax(q_values) 离散动作, horizon 1, sampler argmax, seed 0

NPU 适配

  • 设备: npu:0 Ascend910_9362 (2卡环境, 单卡推理), torch.npu.is_available()=True
  • 权重: 本地加载 policy.pth (557057 bytes, 12 tensors含 target дубликат), 不更换模型, 不使用随机初始化, 不使用 CPU fallback
  • 输入/输出 device: 模型参数 npu:0, 观测 tensor npu:0, 输出 q_values/actions npu:0, 已同步计时 torch.npu.synchronize()
  • 预处理/后处理: 无归一化, 直接 Q-network forward + argmax, 与 CPU 共享权重、观测、dtype、seed、评估模式

真实结果

  • CPU Q-values (batch 4):
    • batch0 [51.4859, 51.6931, 51.1141, 51.0864] -> action 1
    • batch1 [9.0719, 9.3109, 7.0727, 7.3472] -> action 1
    • batch2 [42.8145, 42.7494, 43.4641, 44.2156] -> action 3
    • batch3 [8.5712, 8.5025, 6.0676, 8.5747] -> action 3
  • NPU Q-values 完全一致 (max_abs 1.14e-05 < tolerance 0.05179, atol 1e-4 rtol 1e-3), actions [1,1,3,3] 与 CPU 一致, finite True, shape (4,4)
  • 验证: validate_policy_outputs.py --cpu /tmp/cpu_output.json --npu /tmp/npu_output.json → {"passed": true, "count":16, "max_abs":1.14e-05}
  • 环境 reward: mean_reward 136.79 +/- 42.72 (官方模型卡), rollout 非必需但闭环可选

CPU-NPU 一致性

  • 共享本地权重、观测、预处理、采样、seed、dtype、评估模式, 无随机采样
  • 阈值 FP32 atol=1e-4 rtol=1e-3, 实测 max_abs 1.14e-05, tolerance 0.0517, 通过
  • 动作维度、horizon、shape、有限值、边界均检查通过, 无 CPU fallback

性能

  • 首轮编译: ~131.65 ms (含图编译与 HBM 分配)
  • 稳定延迟: avg 0.12 ms, min 0.11 ms, max 0.13 ms, p50 0.12 ms, p90 0.13 ms, p95 0.13 ms (batch 4, warmup 3, 测量 10次, torch.npu.synchronize() 计时)
  • 吞吐: 32584.87 decisions/s, 32584.87 actions/s (batch 4, actions_per_call 4, waypoints不适用)
  • 观测: batch 4, obs_dim 8, horizon 1, action_dim 4, dtype float32, 包含预处理(无)不含环境步进
  • 验证: benchmark_policy.py --latencies-ms /tmp/latencies.json --items-per-call 4 --unit decisions

使用方法

pip install -r requirements.txt
python inference.py

默认从本地 /opt/atomgit/adapt-npu-agent/working/models/dqn-LunarLander-v2/dqn-LunarLander-v2/policy.pth 加载, 若不存在会通过 HF_ENDPOINT=https://hf-mirror.com 自动下载。

输出包含: model/revision/route/backend/device/dtype/输入摘要/q_values与actions摘要/同步耗时/PASS-FAIL。

环境限制

  • PyTorch 2.9.0+cpu, torch_npu 2.9.0.post1, CANN 8.5.1, Ascend910_9362, single NPU
  • 需要 torch_npu, stable-baselines3 (仅用于权重格式解释, 推理不依赖 gym), gymnasium
  • 单卡显存 < 1GB, 模型 0.069M params, 无需分布式

证据图

  • assets/agent_workflow.png - 侦察、资源检查、加载、NPU推理、一致性、性能与校验
  • assets/npu_device_call.png - npu-smi、NPU availability、设备名、模型/输入/输出 device
  • assets/model_result.png - 默认 python inference.py 的模型、route、真实 ActionPlan、同步耗时和最终状态

agent workflow npu device call model result