172(56+56+56+4) ->512 Swish-gated (x*sigmoid) ->512 Swish-gated ->5 masked softmax,约 0.35M 参数,float32,离散动作 Discrete(5),mask 机制屏蔽非法动作,ONNX 同步导出。obs_0 [B,56] float32 + obs_1 [B,56] + obs_2 [B,56] + obs_3 [B,4] → concat [B,172] float32,本次固定 batch=4 种子 0 的标准正态采样,hash aab72e250e55c330,示例 obs0[0][:4] [-1.125,-1.152,-0.250,-0.433] obs3[0] [0.954,0.733,-1.455,-2.045];action_masks [B,5] float32 全 1 允许全部动作。masked_logits [B,5] float32 → probs [B,5] softmax → deterministic [B] argmax,horizon=1 decision,action_dim=5,本质为 PPO 策略;本次 det [3,1,4,4]。51afdc57fa90b739589ca4b9082ac738191eb606,Pyramids-2000205.pt 8.66MB(8.3M 参数文件含 optimizer 但 Policy 仅 0.35M),ONNX 同名 1.4MB,本仓通过本地 /tmp/Nablaaa_ppo-Pyramids/Pyramids/Pyramids-2000205.pt 加载。npu:0,torch_npu 2.9.0.post1,torch 2.9.0+cpu,CANN 8.5.1,2 cards 使用 npu:0,npu-smi 正常,torch.npu.is_available() true。obs [4,172] float32 hash aab72e250e55c330,obs_npu npu:0 float32,mask npu:0 float32,首参 npu:0 float32 [512,172]。masked_logits [4,5] batch0 [1.866,2.189,-7.037,3.903,-4.178] batch1 [-3.061,14.523,-5.803,-3.753,-4.734] probs batch0 [0.099,0.137,0,0.762,0.00023] det [3,1,4,4][4,5] npu:0 float32 det [3,1,4,4],masked npu:0 probs npu:0 det npu:0,无 CPU fallback,masked_logits device npu:0,probs device npu:0。max_abs 2.62e-06 mean_abs 1.27e-06 probs max_abs 2.98e-07,tolerance 0.0146 (atol 1e-4 + rtol 1e-3 * max_ref 14.52),PASS,validate_policy_outputs.py count 20 finite true passed true。153.32 ms(含图编译),warmup 3,稳定 avg 0.287 ms min 0.267 max 0.330 p50 0.281 p90 0.301 p95 0.330(10 runs),13919 decisions/s / 13919 actions/s,batch 4, obs 172, horizon 1, float32,torch.npu.synchronize() 包围计时。Policy 5 tensors)、观测(同 torch.randn seed 0 4x172)、dtype(float32)、采样(deterministic argmax)、seed(0 固定观测,采样无随机)。validate_policy_outputs.py --atol 1e-4 --rtol 1e-3 阈值 FP32 默认,真实 max_abs 2.6e-06 远小于阈值 0.0146。first_param_device npu:0(CPU 对照为 cpu),obs_npu npu:0,masked npu:0,det npu:0,无 .cpu() 隐式路径。benchmark_policy.py avg_ms 0.287 decisions_per_s 13919.8。npu:0 即可,模型 0.35M 参数 <9MB,显存 <500MB,远低于 64GB HBM。torch 2.9, torch_npu 2.9.post1, numpy, huggingface_hub,无需 ml-agents 运行时(权重直接映射到纯 PyTorch MLP+mask)。python inference.py
# 自动解析 /tmp/Nablaaa_ppo-Pyramids/Pyramids/Pyramids-2000205.pt 或 snapshot_download
# 打印模型/revision/route/backend/device/dtype、输入摘要、masked_logits/det 摘要、同步耗时、PASS/FAIL


inference.py
readme.md
requirements.txt
assets/agent_workflow.png
assets/npu_device_call.png
assets/model_result.png许可证 MIT;权重遵循原 Nablaaa/ppo-Pyramids。