本仓库适配的是由 Unity ML-Agents 框架训练的 PPO(Proximal Policy Optimization)强化学习策略模型 ppo-Huggy,数据来源为 PaulVialard/ppo-Huggy。原始模型产出自 Unity ML-Agents 的 Huggy 控制环境,策略网络接收 59 维向量观测,输出 21 维连续动作,经本地化适配后可在华为昇腾 Ascend 910B NPU 上以服务化形式稳定运行推理。
| 要素 | 描述 |
|---|---|
| 算法 | PPO(近端策略优化) |
| 策略网络 | 全连接 MLP,Swish 激活 |
| 网络结构 | 59(输入) → 512(隐层) → 512(隐层) → 512(隐层) → 21(动作输出) |
| 参数量 | 约 567K |
| 动作类型 | 连续控制(21 维关节扭矩/方向) |
| 观测归一化 | Running Mean + Std |
Huggy 是一个基于 Unity 引擎的连续控制环境,智能体通过 59 维状态观测(包含自身位姿、关节角度、速度、目标位置等信息)做出 21 维连续动作决策,控制关节运动以实现目标交互。
| 组件 | 配置 |
|---|---|
| NPU | Ascend 910B (Atlas 800 A2) |
| NPU 驱动 | 25.5.5 |
| HBM 显存 | 64 GB |
| CPU | ARM aarch64 |
| 组件 | 版本 |
|---|---|
| 操作系统 | Linux (aarch64) |
| Python | 3.11.14 |
| torch | 2.9.0 |
| torch_npu | 2.9.0.post1 |
| numpy | 1.26.x |
| fastapi/uvicorn | 最新版 |
pip install -r requirements.txtpython3 inference.py --mode serve --port 8000 --device auto--device auto 将自动检测 NPU 可用性,优先使用 npu:0 设备,回退至 CPU。
# 单样本推理(默认零观测)
python3 inference.py --mode infer
# 模型信息
python3 inference.py --mode info
# 模拟回合测试
python3 inference.py --mode episode服务启动后暴露以下接口:
| 方法 | 路径 | 说明 |
|---|---|---|
| GET | / | 服务基本信息 |
| GET | /health | 健康检查 |
| GET | /info | 模型元信息 |
| POST | /predict | 单样本推理 |
| POST | /predict_batch | 批量推理 |
| POST | /episode | 模拟完整回合 |
# 健康检查
curl -s http://localhost:8000/health
# 单样本推理(59 维零观测)
curl -s -X POST http://localhost:8000/predict \
-H "Content-Type: application/json" \
-d '{"observation": [0.0]*59}'
# 批量推理
curl -s -X POST http://localhost:8000/predict_batch \
-H "Content-Type: application/json" \
-d '{"observations": [[0.0]*59, [0.5]*59, [-0.5]*59]}'
# 回合测试
curl -s -X POST http://localhost:8000/episode \
-H "Content-Type: application/json" \
-d '{"num_steps": 200}'在 Ascend 910B 单卡上的实测性能数据:
| 指标 | 数值 |
|---|---|
| 单次推理延迟 | ~1.0 ms |
| 200 步回合耗时 | ~0.22 s |
| NPU 显存占用 | ~138 MB |
| NPU AICore 利用率 | 较低(MLP 小网络访存瓶颈) |
| 模型参数量 | 567,069 |
由于该模型是小型全连接网络,AICore 利用率偏低属于正常现象,其优势在于毫秒级的低延迟决策响应。
使用确定性推理(deterministic=True)对比 NPU 与 CPU 前向结果:
| 样本 | CPU 输出 (前4维) | NPU 输出 (前4维) | 最大绝对误差 |
|---|---|---|---|
| 1 | [0.072384, -0.072749, -0.034421, 0.194936] | [0.072384, -0.072749, -0.034421, 0.194936] | 1.04e-07 |
| 2 | [0.060999, -0.095118, 0.017941, 0.074276] | [0.060999, -0.095118, 0.017941, 0.074276] | 1.04e-07 |
| 3 | [0.280543, 0.314569, 0.202792, -0.302413] | [0.280543, 0.314569, 0.202792, -0.302412] | 1.79e-07 |
| 4 | [0.028726, 0.148211, 0.137827, -0.074997] | [0.028726, 0.148211, 0.137827, -0.074997] | 1.64e-07 |
| 5 | [0.208881, 0.264673, 0.164233, -0.308773] | [0.208881, 0.264673, 0.164233, -0.308773] | 1.49e-07 |
结论:NPU 与 CPU 推理结果最大差异为 1.79e-07,远小于 1e-5 阈值,精度完全对齐。
torch_npu 落核 + FastAPI 服务封装。--port 指定端口,无需中止他人进程。