冬

dqn-LunarLander-v2-ascend:DQN LunarLander 昇腾 Ascend NPU 适配部署 #+NPU - AtomGit AI社区

DQN-LunarLander-v2 昇腾 NPU 适配部署文档

1. 模型简介

DQN (Deep Q-Network) 是一种经典的深度强化学习算法，适用于离散动作空间中的决策问题。

本模型为 DQN-LunarLander-v2，在 OpenAI Gym 的 LunarLander-v2 环境中训练，用于控制月球着陆器安全降落到指定区域。

模型架构

属性	值
算法	DQN (Deep Q-Network)
策略网络	MlpPolicy (多层感知机)
隐藏层	[256, 256]
观测空间	Box(8,) - 8 维连续空间
动作空间	Discrete(4) - 4 个离散动作
学习率	0.00063
折扣因子	0.99
经验回放缓冲区	50,000
目标网络更新间隔	250

模型特点

DQN 算法: 通过经验回放和目标网络提升训练稳定性
MlpPolicy: 全连接神经网络策略
LunarLander-v2: 经典强化学习基准环境
Off-policy: 可基于历史经验进行学习

输入输出格式

输入: 8 维观测向量（位置、速度、角度等）
输出: 对应 4 个离散动作的 Q 值

2. 环境依赖清单

2.1 硬件要求

华为昇腾系列 AI 处理器（Ascend 910B/310P 等）
建议 NPU 显存 ≥ 1 GB（DQN-LunarLander 推理峰值约 500 MB - 1 GB）
本次实测使用 910B2（单卡 64 GB）

2.2 软件依赖

依赖项	版本要求	说明
操作系统	CentOS 7.6+ / Ubuntu 18.04+	支持主流 Linux 发行版
CANN	5.0.RC2+	华为昇腾计算架构
Python	3.10 / 3.12	推荐 3.10+
PyTorch	2.0.0+	推荐 2.10
torch_npu	与 PyTorch 版本匹配	昇腾 PyTorch 扩展
stable-baselines3	2.0.0+	强化学习模型加载
gymnasium	最新版	环境模拟器
numpy	最新版	数值计算

2.3 安装方式

# 1) 激活已预装 torch / torch_npu 的 conda 环境
conda activate pt2100

# 2) 安装模型依赖（使用华为云源）
pip install --index-url https://repo.huaweicloud.com/repository/pypi/simple \
    stable-baselines3>=2.0.0 gymnasium numpy

# 3) 验证环境
python -c "
import torch, torch_npu
print('torch:', torch.__version__)
print('torch_npu:', torch_npu.__version__)
print('NPU 可用:', torch.npu.is_available())
"

3. 分步推理操作流程

步骤 1：准备工作目录

# 进入适配目录
cd /workspace/agent1/dqn-LunarLander-v2-ascend

# 确认上游权重存在
ls -la /workspace/agent2/sb3/dqn-LunarLander-v2/

# 期望输出：config.yml dqn-LunarLander-v2.zip ...

步骤 2：检查 NPU 环境

# 检查 NPU 设备状态
npu-smi info

# 验证 torch_npu 安装
python -c "import torch; import torch_npu; print('NPU 可用:', torch.npu.is_available())"

步骤 3：运行推理脚本

# 基本用法：默认参数
python inference.py --device npu:0

# 查看 NPU 显存使用
python inference.py --device npu:0 --show_npu_memory

# 指定其他 NPU 卡
python inference.py --device npu:1

4. 完整测试用例

测试用例 1：DQN 决策推理（NPU:0）

conda activate pt2100
cd /workspace/agent1/dqn-LunarLander-v2-ascend
python inference.py --device npu:0

实际输出：

[W822 13:02:04.834691030 FunctionLoader.cpp:48] Warning: LD_PRELOAD detected...
[W822 13:02:10.560103320 NPUCachingAllocator.cpp:201] Warning: The current CANN and Soc versions require processing for 32 padding size, with memory allocation. (function operator())
============================================================
DQN-LunarLander-v2 昇腾 NPU 推理
============================================================

[Device] npu:0
[Model Path] /workspace/agent2/sb3/dqn-LunarLander-v2

[Creating] Q-Network architecture...

[Loading] Policy weights from zip...
  Files in zip: ['data', 'pytorch_variables.pth', 'policy.pth', 'policy.optimizer.pth', '_stable_baselines3_version', 'system_info.txt']
  Extracting policy.pth from zip...
  Loading policy weights into Q-Network...
  Policy weights loaded

[Model Loaded] Allocated: 0.00 GB, Reserved: 0.00 GB

[npu-smi info]
+------------------------------------------------------------------------------------------------+
| npu-smi 25.5.2                   Version: 25.5.2                                               |
+---------------------------+---------------+----------------------------------------------------+
| NPU   Name                | Health        | Power(W)    Temp(C)           Hugepages-Usage(page)|
| Chip                      | Bus-Id        | AICore(%)   Memory-Usage(MB)  HBM-Usage(MB)        |
+===========================+===============+====================================================+
| 0     910B2               | OK            | 102.5       40                0    / 0             |
| 0                         | 0000:C1:00.0  | 0           0    / 0          3487 / 65536         |
+===========================+===============+====================================================+
+---------------------------+---------------+----------------------------------------------------+
| NPU     Chip              | Process id    | Process name             | Process memory(MB)      |
+===========================+===============+====================================================+
| 0       0                 | 1309615       | python                   | 118                    |
+===========================+===============+====================================================+


[Creating] Dummy observation (LunarLander-v2 obs space: Box(8,))...
  Observation shape: (8,)
  Observation values: [-0.9724137 -1.256936 -0.14656144 -0.14891031]...

[Running Inference]...

[npu-smi info]
+------------------------------------------------------------------------------------------------+
| npu-smi 25.5.2                   Version: 25.5.2                                               |
+---------------------------+---------------+----------------------------------------------------+
| NPU   Name                | Health        | Power(W)    Temp(C)           Hugepages-Usage(page)|
| Chip                      | Bus-Id        | AICore(%)   Memory-Usage(MB)  HBM-Usage(MB)        |
+===========================+===============+====================================================+
| 0     910B2               | OK            | 103.7       41                0    / 0             |
| 0                         | 0000:C1:00.0  | 0           0    / 0          3487 / 65536         |
+===========================+===============+====================================================+
+---------------------------+---------------+----------------------------------------------------+
| NPU     Chip              | Process id    | Process name             | Process memory(MB)      |
+===========================+===============+====================================================+
| 0       0                 | 1309615       | python                   | 118                    |
+===========================+===============+====================================================+


[Results]
  Q-values shape: torch.Size([1, 4])
  Q-values: [91.25, 88.39, 84.81, 98.20]
  Selected action: 3
  Action Q-value: 98.2046
[Memory After Inference] Allocated: 0.00 GB, Reserved: 0.00 GB

[Done]

✅ 验证要点：

模型加载成功：Q-Network 从 Stable-Baselines3 的 DQN zip 文件中加载权重
NPU 推理稳定：策略网络在 NPU 上执行推理
NPU 进程运行：npu-smi 显示 Python 进程（PID 1309615）正在 NPU 上运行
Q 值输出：Q-values 输出每个动作的预期回报
动作选择：依据 Q 值最大化原则选择动作 3（右引擎）

5. 常见问题解答

Q1：提示 “NPU 不可用” 怎么办？

解决方案：

确认已安装 CANN 驱动并设置环境变量（source /usr/local/Ascend/ascend-toolkit/latest/set_env.sh）
运行 npu-smi info 检查设备状态
确认 PyTorch 与 torch_npu 版本匹配

Q2：DQN 模型的观测空间是什么？

解释：LunarLander-v2 的观测空间为 Box(8,)，包含 8 个连续值：

着陆器位置（x, y）
着陆器速度（vx, vy）
着陆器角度（angle）
角速度（angular_velocity）
左右腿接地信号（leg_contact_left, leg_contact_right）

Q3：DQN 的 4 个动作分别是什么？

解释：LunarLander-v2 共有 4 个离散动作：

0：不操作
1：左引擎点火
2：主引擎点火
3：右引擎点火

6. 文件结构

dqn-LunarLander-v2-ascend/
├── inference.py              # 推理脚本（torch_npu 推理）
├── README.md                 # 本文档
├── requirements.txt          # 依赖列表
└── assets/                   # 资源占位目录

上游权重目录（只读，未被修改）：

/workspace/agent2/sb3/dqn-LunarLander-v2/
├── config.yml               # DQN 超参数配置
├── dqn-LunarLander-v2.zip   # 模型压缩包
├── dqn-LunarLander-v2/      # 解压后的模型目录
│   ├── policy.pth          # 策略网络权重
│   └── policy.optimizer.pth # 优化器状态
└── README.md               # 原始文档

7. requirements.txt - 依赖项列表

# DQN-LunarLander-v2 昇腾 NPU 推理环境依赖

# 核心依赖（必须）
torch>=2.0.0
torch_npu
stable-baselines3>=2.0.0
numpy
gymnasium

使用方式：

# 激活环境
conda activate pt2100

# 安装依赖（华为云源）
pip install --index-url https://repo.huaweicloud.com/repository/pypi/simple -r requirements.txt

8. 参考资源