eardoi/ppo-Huggy-npu
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

ppo-Huggy(昇腾 NPU 适配)

PaulVialard/ppo-Huggy 是 Unity ML-Agents Huggy 环境上训练的 PPO 连续控制策略 (MLP 策略,0.6M 参数):输入环境观测(59 维),输出 21 维连续动作均值。 权重为 Unity ML-Agents checkpoint(13.5MB),本适配不安装 mlagents/gym 框架, 手动重建策略网络。

本项目完成其在**华为昇腾 NPU(Ascend 910B)**上的推理适配与验证。

模型规格

项目说明
模型架构MLAgentsContinuousPolicy(obs 59 → 3 层 MLP 512 → mu 21)
参数量0.6M
输入环境观测 [1, 59]
输出连续动作均值 [1, 21](确定性策略)
权重格式Huggy/Huggy-1009955.pt(13.5MB,ML-Agents checkpoint)

环境要求

/usr/local/python3.11.14/bin/pip install numpy
# 无需 mlagents/gym(手动重建策略网络)

推理

cd /workspace/ppo-Huggy
/usr/local/python3.11.14/bin/python3 inference.py \
    --checkpoint /workspace/ppo-Huggy_src/Huggy/Huggy-1009955.pt --device npu:0

参数

参数说明默认值
--checkpointML-Agents 权重路径/workspace/ppo-Huggy_src/Huggy/Huggy-1009955.pt
--device推理设备(npu:0 / cpu)npu:0
--output输出动作 npystdout

验证结果(Ascend 910B, npu:0)

输入:59 维环境观测(确定性合成输入)

[info] model loaded: MLAgentsContinuousPolicy (0.6M)
[info] 输入: 观测 (1, 59) (59 维)
============================================================
[info] 动作均值形状: (1, 21) | finite=True
[info] 统计: min=... max=... mean=...
============================================================

ppo-Huggy 在 NPU 上完成连续控制策略前向(输出 (1,21) 动作均值), NPU 前向链路完整跑通。

适配说明(参考社区 ppo-Huggy-npu 方案)

  • 不装 mlagents:权重为 Unity ML-Agents 格式,手动重建 MLAgentsContinuousPolicy(fc1/fc2/fc3 59→512 + mu 512→21)。
  • 键映射:checkpoint 键为 network_body._body_endoder.seq_layers.{0,2,4}
    • action_model._continuous_distribution.mu,8 键映射加载。
  • 确定性推理:只取 mu(动作均值),critic 与 log_sigma 不参与。
  • 设备解析 resolve_device():NPU 可用性检测,失败自动回退 CPU。
  • 模型权重不推送到仓库:*.pt 已加入 .gitignore。

目录结构

.
├── README.md          # 模型卡片(本文件)
├── inference.py       # NPU 推理脚本
└── assets/            # 适配过程截图素材

引用

  • 模型:https://huggingface.co/PaulVialard/ppo-Huggy
  • 参考实现:https://ai.gitcode.com/gcw_93rlw6ed/ppo-Huggy-npu