jsjs1258/graceesthi-ug-cppo-finai-2025-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

graceesthi/ug-cppo-finai-2025 NPU Adaptation

Model Introduction

graceesthi/ug-cppo-finai-2025 是 UG-CPPO v3 论文(FinAI Contest 2025, NeurIPS 2026 提交)的 30 个训练态 Stable-Baselines3 智能体集合(PPO / CVaR-PPO / UG-CPPO × 10 seeds 42-51)。本仓库适配其中 UG-CPPO seed 47(Rachev 1.0104,top performer)为单卡昇腾 NPU(Ascend910_9362, npu:0)真实推理。

  • 原始模型: https://huggingface.co/graceesthi/ug-cppo-finai-2025
  • Revision: 8be042ec04ee8811d3bc4e6a69372e61f34a72d5
  • 算法: PPO (SB3 ActorCriticPolicy, MlpPolicy)
  • 结构: Flatten -> Linear(81->64) Tanh -> Linear(64->64) Tanh -> Linear(64->10) (actor) + Linear(64->1) (critic) + log_std (10)
  • 观测: 81-dim 连续市场特征(10 支股票 Nasdaq 2019-2023 的 FinRL 状态,含价格/持仓/技术指标)
  • 动作: 10-dim 连续组合权重 Box(-1,1, (10,)),确定性动作为 clip(mean, -1, 1)(多头/空头)
  • 权重: ug_cppo_seed47.zip (~270KB, 19541 params FP32),其余 29 权重同结构可替换
  • 后端: PyTorch + torch_npu (CANN 8.5.1)

所有参数与输入输出 Tensor 显式位于 npu:0,inference.py 从本地权重加载并执行真实前向与采样,不使用 dummy policy。

Policy / Action Contract

FieldValue
Routeoffline-rl (SB3 PPO trading policy)
Obs dim81
Action dim10 continuous (-1..1)
Horizon1 (单步决策)
ActorLinear 81→64 → Tanh → Linear 64→64 → Tanh → Linear 64→10
CriticLinear 64→1
Samplerdeterministic (mean clipped)
Seed (推理对比)42 (固定合成观测批量)

Data Contract

使用固定 seed 42 生成的合成 FinRL 兼容观测批量(5×81,首行为零基线,其余 N(0,0.5²)),在 CPU 与 NPU 上共享同一权重、观测、dtype (float32) 与确定性采样,确保唯一对比对象。投资者可替换为真实回测状态,shape 须为 [batch,81]。

Environment

  • Ascend 910B (single npu:0), CANN 8.5.1
  • Python 3.11, PyTorch 2.9.0, torch_npu 2.9.0.post1, stable-baselines3 2.9.0, gymnasium 1.3, huggingface_hub
  • 已验证设备: Ascend910_9362, device_count=2

Installation

pip install -r requirements.txt

NPU Inference

python inference.py

通过本地目录加载(避免重复下载):

UG_CPPO_LOCAL_DIR=/opt/atomgit/adapt-npu-agent/work/graceesthi_ug-cppo-finai-2025 python inference.py

Real NPU Result

全链路在 npu:0 同步执行,5 样本批量输出:

  • raw mean shape (5,10), dtype float32, device npu:0, sample [-0.317, -0.670, -0.210, 0.567, 0.681]
  • clipped action shape (5,10), device npu:0, 全部在 [-1,1] 且有限
  • value shape (5,1), device npu:0
  • first_param_device npu:0, obs_device npu:0

CPU-NPU Consistency (same weights, same observations)

MetricValue
Max abs diff (mean)1.19e-06
Max abs diff (value)1.47e-07
Max abs diff (clipped action)5.36e-07
Toleranceatol=5e-3, rtol=5e-2 (≈0.23)
Finite & in boundsTrue
ResultPASS

Performance (npu:0, synchronized, batch=5, horizon=1)

MetricValue
Avg latency0.27 ms
Min / Max0.26 / 0.29 ms
p50 / p90 / p950.27 / 0.28 / 0.29 ms
Throughput~18344 actions/s, ~18344 decisions/s

Evidence

  • agent workflow
  • NPU device call
  • model result

Limitations

  • 轻量 MLP (~19.5K params),延迟主要为同步开销,增大 batch 可提升吞吐。
  • 验证使用确定性 mean 剪裁;随机采样(log_std)亦在 NPU,但一致性以 mean 为准。
  • 回测收益需接 FinRL 环境另行评估,本仓仅证明策略权重在 NPU 上的动作一致性与延迟。