gcw_6a3w2yXz/dqn-LunarLander-v2
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

sb3/dqn-LunarLander-v2 — Ascend NPU 适配

模型简介

  • 模型名称: sb3/dqn-LunarLander-v2
  • Revision: 3f631509a3a70816ba982661e79a1f25f2e617bb
  • 来源: https://huggingface.co/sb3/dqn-LunarLander-v2
  • 任务: 强化学习 — LunarLander-v2 离散控制策略
  • 框架: Stable-Baselines3 DQN (MlpPolicy), PyTorch 2.9.0 + torch_npu 2.9.0.post1
  • 许可证: MIT (RL Zoo)
  • 路由: offline-rl / discrete DQN (SB3 训练权重适配为 NPU 离散动作预测)

观测与动作契约

输入观测 (observation) — LunarLander-v2 连续状态向量:

  • 形状: [batch, 8] float32 (batch=4 测试)
  • 维度含义: x, y, vx, vy, angle, angular velocity, leg1 contact, leg2 contact
  • dtype: float32, device: npu:0 (浮点观测张量在 NPU 上计算)
  • 预处理: 无归一化 (normalize=False),直接喂入 FlattenExtractor

输出动作 (action/Q-values):

  • 原始输出 raw_output: Q-values 形状 [batch, 4] float32, action_dim=4 离散动作空间 (0=不操作, 1=左引擎, 2=主引擎, 3=右引擎)
  • 规范化 ActionPlan: action=argmax(q_values, dim=1) ,horizon=1,coordinate_frame=discrete
  • sampler: 确定性 argmax, seed 固定, 无随机噪声
  • 网络结构: Linear(8->256) -> ReLU -> Linear(256->256) -> ReLU -> Linear(256->4) , 参数约 68k (557KB policy.pth)

真实 NPU 验证结果

  • NPU 设备: Ascend910_9362 (npu:0, device_count=2, torch.npu.is_available()=True, npu-smi info OK)
  • 模型参数 device: npu:0 (next(model.parameters()).device == npu:0)
  • 输入 tensor device: npu:0
  • 输出 tensor device: npu:0 (q_values.device == npu:0)
  • 计时方式: torch.npu.synchronize() 包围每次推理
  • 权重来源: 本地固定 revision /tmp/hf_cache/models--sb3--dqn-LunarLander-v2/snapshots/<rev>/dqn-LunarLander-v2/policy.pth,CPU/NPU 共用权重、观测、dtype、采样参数

样例输出 (NPU, batch=4):

sample 0: q=[2.7858, 2.6612, 2.8851, 3.0249] action=3
sample 1: q=[56.5517, 55.8747, 55.8580, 55.9696] action=0
sample 2: q=[36.9818, 33.8246, 34.9999, 36.4804] action=0
sample 3: q=[78.1302, 78.7737, 77.0865, 78.6620] action=1

shape (4,4), dtype float32, 全部 finite,无 NaN/Inf。

CPU–NPU 一致性

  • 比较对象: 连续 Q-values (非离散索引) 的全体数值
  • 阈值: FP32 atol=1e-4, rtol=1e-3 (tolerance = 0.07887)
  • 结果: max_abs=1.91e-05, mean_abs=5.22e-06, finite=true, passed=true
  • 验证命令: validate_policy_outputs.py --cpu /tmp/cpu_q.json --npu /tmp/npu_q.json --atol 1e-4 --rtol 1e-3 → {"count":16,"passed":true,...}
  • 报告: 不使用环境 reward 代替,reward 136.79 +/- 42.72 仅作参考,不替代数值一致性。

性能基准

  • 首轮编译延迟 (含 NPU 图编译): ~0.18ms (热) / ~133ms (冷启动首次)
  • 预热后延迟 (avg/min/max/p50): 约 0.139ms / 0.134ms / 0.153ms / 0.135ms (batch=4, float32, 含同步)
  • 吞吐: ~28k decisions/s (≈ 6.9k batches/s, horizon=1, 4 decisions per call)
  • 测量: warmup=3, iters=15, torch.npu.synchronize() 计时, batch=4, obs_shape=(4,8), dtype float32, 包含预处理(无)与 argmax
  • 显存预估: <100MB,单卡 Ascend910 (64GB) 充足,无需删减视觉塔/语言塔

推理方式

python inference.py

默认从本地固定权重加载,打印 model/revision、route、backend、device、dtype、输入摘要、Q-values/动作摘要、同步耗时及 PASS/FAIL。

环境限制

  • 需要 Ascend 910B + CANN 8.5.1 + torch_npu 2.9.0
  • 单卡 npu:0 即可,权重未量化,保持 float32
  • 沙盒模式: Gym 0.21 未安装时使用纯 PyTorch QNet 加载,不依赖 Gym/Gymnasium 运行时环境
  • 关联输入需满足 LunarLander 状态空间边界,未验证的越界输入可能产生外推。

证据图

  • assets/agent_workflow.png — 侦察、资源、加载、NPU 推理、一致性与性能
  • assets/npu_device_call.png — npu-smi、NPU availability、device name、model/input/output device
  • assets/model_result.png — python inference.py 真实 Q-values、设备与耗时

文件清单

inference.py
readme.md
requirements.txt
assets/agent_workflow.png
assets/npu_device_call.png
assets/model_result.png

失败码说明

  • 若 torch.npu.is_available()==False 或出现 .cpu() fallback,返回 CPU_FALLBACK 失败,不生成 PASS 图。
  • 架构不匹配返回 UNSUPPORTED_ARCHITECTURE。