L
Lumiire/ppo-Huggy
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

PPO-Huggy

模型简介

本仓库适配的是由 Unity ML-Agents 框架训练的 PPO(Proximal Policy Optimization)强化学习策略模型 ppo-Huggy,数据来源为 PaulVialard/ppo-Huggy。原始模型产出自 Unity ML-Agents 的 Huggy 控制环境,策略网络接收 59 维向量观测,输出 21 维连续动作,经本地化适配后可在华为昇腾 Ascend 910B NPU 上以服务化形式稳定运行推理。

模型架构

要素描述
算法PPO(近端策略优化)
策略网络全连接 MLP,Swish 激活
网络结构59(输入) → 512(隐层) → 512(隐层) → 512(隐层) → 21(动作输出)
参数量约 567K
动作类型连续控制(21 维关节扭矩/方向)
观测归一化Running Mean + Std

环境信息

Huggy 是一个基于 Unity 引擎的连续控制环境,智能体通过 59 维状态观测(包含自身位姿、关节角度、速度、目标位置等信息)做出 21 维连续动作决策,控制关节运动以实现目标交互。

验证环境

硬件环境

组件配置
NPUAscend 910B (Atlas 800 A2)
NPU 驱动25.5.5
HBM 显存64 GB
CPUARM aarch64

软件环境

组件版本
操作系统Linux (aarch64)
Python3.11.14
torch2.9.0
torch_npu2.9.0.post1
numpy1.26.x
fastapi/uvicorn最新版

服务启动

安装依赖

pip install -r requirements.txt

启动推理服务

python3 inference.py --mode serve --port 8000 --device auto

--device auto 将自动检测 NPU 可用性,优先使用 npu:0 设备,回退至 CPU。

命令行推理

# 单样本推理(默认零观测)
python3 inference.py --mode infer

# 模型信息
python3 inference.py --mode info

# 模拟回合测试
python3 inference.py --mode episode

REST API 说明

服务启动后暴露以下接口:

方法路径说明
GET/服务基本信息
GET/health健康检查
GET/info模型元信息
POST/predict单样本推理
POST/predict_batch批量推理
POST/episode模拟完整回合

Smoke 验证

# 健康检查
curl -s http://localhost:8000/health

# 单样本推理(59 维零观测)
curl -s -X POST http://localhost:8000/predict \
  -H "Content-Type: application/json" \
  -d '{"observation": [0.0]*59}'

# 批量推理
curl -s -X POST http://localhost:8000/predict_batch \
  -H "Content-Type: application/json" \
  -d '{"observations": [[0.0]*59, [0.5]*59, [-0.5]*59]}'

# 回合测试
curl -s -X POST http://localhost:8000/episode \
  -H "Content-Type: application/json" \
  -d '{"num_steps": 200}'

性能参考

在 Ascend 910B 单卡上的实测性能数据:

指标数值
单次推理延迟~1.0 ms
200 步回合耗时~0.22 s
NPU 显存占用~138 MB
NPU AICore 利用率较低(MLP 小网络访存瓶颈)
模型参数量567,069

由于该模型是小型全连接网络,AICore 利用率偏低属于正常现象,其优势在于毫秒级的低延迟决策响应。

精度测评

NPU vs CPU 输出对比

使用确定性推理(deterministic=True)对比 NPU 与 CPU 前向结果:

样本CPU 输出 (前4维)NPU 输出 (前4维)最大绝对误差
1[0.072384, -0.072749, -0.034421, 0.194936][0.072384, -0.072749, -0.034421, 0.194936]1.04e-07
2[0.060999, -0.095118, 0.017941, 0.074276][0.060999, -0.095118, 0.017941, 0.074276]1.04e-07
3[0.280543, 0.314569, 0.202792, -0.302413][0.280543, 0.314569, 0.202792, -0.302412]1.79e-07
4[0.028726, 0.148211, 0.137827, -0.074997][0.028726, 0.148211, 0.137827, -0.074997]1.64e-07
5[0.208881, 0.264673, 0.164233, -0.308773][0.208881, 0.264673, 0.164233, -0.308773]1.49e-07

结论:NPU 与 CPU 推理结果最大差异为 1.79e-07,远小于 1e-5 阈值,精度完全对齐。

注意事项

  1. 模型类型差异:该模型为 Unity ML-Agents PPO 策略网络,非 Transformer 架构 LLM,不支持 vLLM 推理引擎。适配路径为 torch_npu 落核 + FastAPI 服务封装。
  2. 权重来源:模型权重从 Hugging Face 镜像仓库拉取,下载时优先尝试 GitCode 镜像,若失败则依次回退至 ModelScope 和 HF 直连。
  3. 端口占用:默认端口 8000,若被其他任务占用可通过 --port 指定端口,无需中止他人进程。
  4. 观测规范:输入为 59 维浮点向量,需保证维度与语义正确,否则推理结果无意义。
  5. 确定性推理:默认使用确定性策略(deterministic=True),保证相同输入下的输出可复现。
  6. NPU 显存:模型推理仅占用约 138 MB 显存,不影响同卡上其他大模型任务运行。