sheepss/graceesthi-ug-cppo-finai-2025-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

UG-CPPO v3 Trading Policy (Ascend NPU)

graceesthi/ug-cppo-finai-2025 是一个基于 Stable-Baselines3 PPO 训练的量化交易强化学习策略,任务为 FinRL Nasdaq 10 股票组合管理 (AAPL, MSFT, AMZN, NVDA, META, GOOGL, TSLA, NFLX, AMD, COST)。本仓库将其适配为可在 单卡昇腾 NPU (Ascend 910B, npu:0) 上真实运行的单步连续动作推理模型。

任务与契约

  • 任务: 离线强化学习投资组合权重分配 (offline-RL portfolio allocation)
  • 路由: offline-rl (state → next continuous action)
  • 观测: 81 维金融指标 Box(-inf, inf, (81,), float32) (OHLCV + 技术指标 + 账户状态)
  • 动作: 10 维连续 Box(-1.0, 1.0, (10,), float32) 对应 10 支股票的仓位权重,[-1,1] 经 np.clip 映射到实际持仓比例
  • 策略结构: ActorCriticPolicy (MlpPolicy, net_arch=[64,64]), 共约 18k 参数, FP32
  • 采样器: 确定性 mean 动作 (deterministic=True)
  • 训练: 250k timesteps, 10 seeds (42-51), 2019-2023 Nasdaq 回测
  • 官方指标: 多种子均值累积收益 35.99%±38.7% (UG-CPPO), Rachev 0.942, MDD -29.7% (详见模型卡)

真实结果 (Ascend 910B)

  • 模型 / revision: graceesthi/ug-cppo-finai-2025 @ 8be042ec04ee8811d3bc4e6a69372e61f34a72d5 (ug_cppo_seed42.zip 代表权重, 同时验证 seed47 top performer 一致)
  • 后端 / 设备: torch_npu / npu:0 (Ascend910_9362), 模型参数、观测、动作输出全部位于 npu:0
  • 输入: [8, 81] float32 观测 batch (8 个合成市场状态, seed 42)
  • 输出: 8×[10] 连续动作 (portfolio weights), 全部在 [-1,1] 边界内且有限
  • 同步耗时: 单次 batch (8 观测) 约 0.66 ms, 吞吐约 12130 decisions/s (30 次同步测量均值, 含编译后)
  • 首轮编译: 同步测量已包含 torch.npu.synchronize() 前后计时, 首轮冷启动约 1.2 ms

CPU-NPU 一致性

相同权重、相同观测、相同 seed 与相同确定性采样下, CPU 与 npu:0 对比:

  • 确定性 mean 动作: max-abs 误差 5.36e-07 (FP32 阈值 1e-4 + 1e-3*|ref| → 1.1e-03) → 通过
  • 形状、有限性、动作维度 (10)、horizon (1)、动作边界均一致 → 通过
  • 采样配置完全相同 (deterministic mean, 无 stochastic SDE) → 通过

性能

指标数值
设备npu:0 (Ascend910_9362)
batch / 观测8 × 81
dtypefloat32
avg / min / max0.6595 / 0.6336 / 0.6874 ms
p50 / p90 / p950.6573 / 0.6802 / 0.6834 ms
吞吐~12130 decisions/s (~97040 actions/s)
warmup / runs5 / 30

测量方式: torch.npu.synchronize() 前后 time.perf_counter(), 预热 5 次后正式 30 次。

环境限制

该交易策略为轻量 MLP 策略, 无需闭环市场模拟即可验证数值契约; 环境奖励与 cumulative return 为附加评估而非替代数值一致性。真实市场回测需 FinRL 环境与历史数据, 未包含在本仓库交付中。权重文件通过 huggingface_hub 按需拉取, 本仓不包含 .zip 权重。

使用

pip install -r requirements.txt
# 需已安装 torch_npu 与 CANN 驱动 (Ascend 910)
python inference.py

inference.py 默认从 submission/model/ug_cppo_seed42.zip 或 Hugging Face 缓存加载权重 (首次运行自动经 huggingface_hub 拉取), 在 npu:0 上执行真实推理, 输出模型 / revision、路由、后端、设备、dtype、输入摘要、动作计划、同步耗时与 PASS/FAIL。

证据图

  • assets/agent_workflow.png: 侦察、资源检查、NPU 推理、CPU-NPU 一致性、性能与验证日志
  • assets/npu_device_call.png: npu-smi、NPU 可用性、设备名、模型/输入/输出 device
  • assets/model_result.png: python inference.py 的模型、路由、真实动作计划、同步耗时与最终状态

agent workflow npu device call model result