g
gcw_StsIRaj1/ppo-cartpole-v1-npu
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

HumanCompatibleAI/ppo-CartPole-v1 昇腾 NPU 适配

  • 官方模型池:Phase 4 / Row 61
  • 参赛微信名称:风云游子
  • 参赛 AtomGit ID:@gcw_StsIRaj1
  • 模型来源:https://huggingface.co/HumanCompatibleAI/ppo-CartPole-v1
  • 官方可达镜像:https://ai.gitcode.com/hf_mirrors/HumanCompatibleAI/ppo-CartPole-v1
  • 上游许可证:MIT
  • 推理引擎:strict PPO policy state dict + torch_npu
  • 验证硬件:Ascend910 / CANN / torch_npu / npu:0

作品结论

本作品在大赛官方远端 Ascend Model Agent 的 Ascend910 上加载真实 checkpoint,并完成 CartPole-v1 强化学习策略 NPU 推理。CPU fallback 被禁止;模型、输入与输出设备信息、权重加载审计、输出统计、软件版本和耗时均固化在 evidence/result.json。

严格校验官方 ppo-CartPole-v1 policy.pth SHA-256,并以 strict=True 加载官方 PPO 两层 Tanh 策略/价值网络;模型、4 维状态输入、策略 logits 与价值输出均在 npu:0。

适配边界

  1. 保留上游模型结构、参数与任务语义,只增加 NPU 设备迁移、必要的版本兼容和证据采集。
  2. 使用确定性合成输入执行最小可复现实验,避免外部数据集和网络波动影响复核。
  3. 加载失败、张量落回 CPU、输出非有限或形状不符时立即失败,不以随机初始化或 CPU 结果替代。
  4. 本作品验证官方权重的昇腾 NPU 前向推理链路可执行,不声称完成训练,也不把烟测统计解释为业务精度。

应用价值与决策边界

  • 目标场景:CartPole-v1 状态到离散动作策略的 Ascend NPU 适配验证
  • 输入语义:1 条 4 维 CartPole-v1 状态向量
  • 输出语义:2 类动作 logits、1 维价值估计及 argmax 动作
  • 决策支持:为强化学习策略的 NPU 前向与后续环境评测提供可复现证据
  • 证据边界:仅验证官方 v1 policy.pth 的严格加载和单步前向,不声称环境 rollout、奖励、训练或生产控制性能。

运行步骤

远端环境应预先安装版本匹配的 CANN、PyTorch 与 torch_npu,不要用普通 pip install 覆盖官方运行时。

python3 -m pip install -r requirements.txt

python3 inference.py --model-dir /tmp/atomgit/phase4-seq61-ppo-cartpole-v1 --output-dir outputs --device npu:0
npu-smi info
cat outputs/result.json

实测证据

  • 模型状态设备:npu:0
  • 输入语义:[1,4]
  • 输出形状:[1,2]
  • 推理耗时:138.484 ms
  • 权重加载:官方 from_pretrained 权重加载
  • 设备闭环:模型、输入、输出张量均为 npu:0

evidence/result.json 是机器可读事实源;三张证据图分别呈现 Agent 适配流程、NPU 设备闭环和模型输出结果。

复核清单

  • 真实 checkpoint,非随机初始化
  • 禁止 CPU fallback
  • 模型状态位于 npu:0
  • 输入与输出设备逐字段记录
  • 输出形状和有限性门禁
  • 运行时版本与耗时固化
  • 模型许可证和适配边界明确

Agent适配截图

Agent适配全过程截图

Agent 适配流程

NPU设备调用截图

NPU 设备调用

模型适配结果截图

模型适配结果