v_50/HumanCompatibleAI-ppo-seals-CartPole-v0-NPU

HumanCompatibleAI-ppo-seals-CartPole-v0-NPU - AtomGit AI社区

HumanCompatibleAI/ppo-seals-CartPole-v0 在昇腾 NPU 上的应用

这是一个使用 stable-baselines3 库和 [RL Zoo](https://github.com/DLR-RM/r

1. 模型简介

属性	值
模型名称	`HumanCompatibleAI/ppo-seals-CartPole-v0`
原始权重	ModelScope / HuggingFace / AtomGit 镜像
任务类型	feature-extraction
输入	见 inference.py
输出	特征向量
框架	PyTorch + torch_npu
官方实现	https://github.com/DLR-RM/stable-baselines3

参考

官方实现 / 论文仓库：

2. 环境依赖清单

# 推荐 conda 环境：pix2struct-npu（torch 2.10.0 + torch_npu 2.10.0）
# 依赖见 requirements.txt

国内 pip 源（清华）：https://pypi.tuna.tsinghua.edu.cn/simple

权重预下载（国内源）

权重文件不随仓库一同分发，推理前请通过国内下载源拉取至本地缓存（推荐 ModelScope，失败时自动回退至 HF 镜像）：

# 方式一：ModelScope（国内直连，最快）
pip install modelscope -i https://pypi.tuna.tsinghua.edu.cn/simple
python -c "from modelscope import snapshot_download; snapshot_download('HumanCompatibleAI/ppo-seals-CartPole-v0', cache_dir='./weights')"

# 方式二：HF 镜像（hf-mirror.com）
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download HumanCompatibleAI/ppo-seals-CartPole-v0 --local-dir ./weights/ppo-seals-CartPole-v0

inference.py 将根据 WEIGHTS_ROOT（默认路径为 /data/model-agent/weights/phase3）自动定位已下载的权重文件，也可通过环境变量将路径指向上述 ./weights 目录，例如：WEIGHTS_ROOT=./weights python inference.py

硬件环境：单卡 Ascend 910B4（npu:0）

3. 分步推理操作流程

conda activate pix2struct-npu
python inference.py          # NPU 推理
python eval_accuracy.py      # CPU vs NPU 精度对比
python benchmark.py          # NPU 性能基准

推理示例（真实输入，可复现）

import torch, torch_npu
from transformers import AutoModel, AutoTokenizer
m = AutoModel.from_pretrained("HumanCompatibleAI/ppo-seals-CartPole-v0", trust_remote_code=True).to("npu:0").eval()
tok = AutoTokenizer.from_pretrained("HumanCompatibleAI/ppo-seals-CartPole-v0", trust_remote_code=True)
inputs = tok("How to use this model?", return_tensors="pt").to("npu:0")
outputs = m(**inputs)

4. 完整测试用例及输出结果

输入：示例文本/序列（参见 inference.py）

输出（取自 logs/inference.log）：

推理耗时: 259.33 ms
输出 shape: (1,)

5. CPU 与 NPU 精度对比（仅记录，无硬性约束）

指标	数值
最大绝对误差	N/A
相对误差	N/A
余弦相似度	N/A

注：本次适配无精度要求，精度数据仅作为质量佐证。详见 logs/accuracy.log。

6. NPU 推理性能

指标	数值
平均延迟	1.45 ms
p50 分位延迟	1.46 ms
吞吐量	688.29 次动作/秒

7. 自验证截图（assets/）

文件	内容
agent_workflow.png	Agent 完整适配工作流
npu_device_call.png	推理时 npu-smi 信息（Ascend910B4）
model_result.png	适配验收结果

8. 标签

#NPU #Ascend #Ascend910 #model-agent-tagged

仓库：https://gitcode.com/v_50/HumanCompatibleAI-ppo-seals-CartPole-v0-NPU 适配日期：2026-08-12 ｜赛道：第二季·模型适配·阶段三