w
gcw_uQ09W7jl/graceesthi-ug-cppo-finai-2025-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

graceesthi/ug-cppo-finai-2025-NPU

#NPU

NPU 适配版本 - 原始模型: graceesthi/ug-cppo-finai-2025

模型简介

UG-CPPO v3: Uncertainty-Gated CVaR-PPO Trading Agents,基于 Stable-Baselines3 PPO 的金融交易强化学习智能体。原始仓库包含 30 个训练好的智能体 (3 模式 × 10 seeds: PPO/CPPO/UG-CPPO, seeds 42-51),每个 250k timesteps,评估于 2019-2023 Nasdaq 10 支股票 (AAPL, MSFT, AMZN, NVDA, META, GOOGL, TSLA, NFLX, AMD, COST)。

本 NPU 仓库选取 UG-CPPO seed47 (Top performer, Rachev 1.0104) 为默认推理权重,其网络为 81 -> 64 (Tanh) -> 64 (Tanh) -> 10 的 Actor-Critic Policy (MlpExtractor + ActionNet),policy.pth 约 83KB,FP32。该模型本质为表格数据回归/连续动作预测:输入为 81 维状态向量 (tabular rows × features),输出为 10 维连续交易动作 [-1,1] (portfolio weights)。

  • 模型类型: 表格数据 / RL regression (continuous action)
  • 原始框架: Stable-Baselines3 2.8.0, PyTorch 2.10, Gymnasium Box(81,) -> Box(10,)
  • 权重来源: ug_cppo_seed47.zip 内 policy.pth (OrderedDict),已验证 30 个 zip 均同构 81×64
  • Revision: 8be042ec04ee8811d3bc4e6a69372e61f34a72d5 (2026-05-03)
  • 许可: mit

数据契约

项值
输入类型表格 DataFrame / numpy [batch, 81] float32
列顺序feat_0 ... feat_80 (固定 81 维,等价于 FinRL 状态向量)
dtypefloat32
缺失值不预期;推理前需填充,否则报错
目标列无 (RL 动作预测,非监督 label)
类别/文本列无
预处理无 (raw float32 直接送入 Linear),不得重排列顺序
输出[batch,10] float32 连续动作,实际交易前 clip(-1,1)
Tickors 顺序[AAPL, AMD, AMZN, COST, GOOGL, META, MSFT, NFLX, NVDA, TSLA] 对应 action dim 0..9
合法校验检查列数=81、dtype 可转 float32、有限值 (finite)

示例输入 (seed 42, 16 rows):

  • rows=16, cols=81, mean≈0.019, std≈0.495
  • 第一行前5列 [0.248, -0.069, 0.323, 0.761, -0.117]

环境

  • Python 3.11.14
  • torch 2.9.0+cpu, torch_npu 2.9.0.post1+gitee7ba04
  • transformers N/A, numpy 1.26.4, pandas 3.0.2, gymnasium 1.0.0, stable-baselines3 2.3.0
  • Ascend CANN 8.5.1, 设备 Ascend910_9362 ×2, 使用 npu:0
  • 显存: HBM 65536 MB, 单卡足以容纳 83KB 权重 + 16×81 激活
  • HF_ENDPOINT=https://hf-mirror.com (国内镜像)

安装

pip install -r requirements.txt
# 或 pip install torch torch-npu numpy pandas huggingface-hub

NPU 推理

默认命令 (自动从本地 model_cache 或 HF 镜像下载权重,显式搬运至 npu:0):

python inference.py

预期日志包含:

  • npu_available True, device_name Ascend910_9362, param device npu:0
  • Input Tensor device npu:0
  • Output device npu:0 及真实预测数值
  • 同步耗时 (torch.npu.synchronize()) 与 SUCCESS 状态

其他 seed:

python inference.py --zip ppo_seed42.zip  # 需自行修改 DEFAULT_ZIP 或环境变量

真实结果

以 ug_cppo_seed47.zip, batch=16, seed=42 合成输入为例 (与 CPU 基线同分布同种子):

  • CPU single (1,10) 首样本 [-1.867525, -1.509392, 0.564421, 3.298039, 2.285377, 0.495307, -0.317496, -0.592716, -2.863995, -0.373153]
  • NPU single 同输入 [-1.8675249, -1.5093916, 0.5644217, 3.2980391, 2.2853784, ...] max_abs diff 8.3e-07
  • CPU batch (16,10) 均值 -0.1115, NPU batch -0.1084 (batch 内样本不同于 single), 详见 logs
  • NPU batch sample0 clipped [-1.0, -1.0, 0.5644, 1.0, 1.0, 0.4953, -0.3174, -0.5927, -1.0, -0.3731]

一致性

  • 比较对象: cpu.npy vs npu.npy (同权重、同输入、同dtype float32、同seed、eval mode),使用 scripts/compare_outputs.py --task regression --atol 1e-4 --rtol 1e-3
  • 结果: max_abs_error 9.5367e-07, mean_abs_error 2.19e-07, passed true, 阈值 FP32 默认,未放宽
  • 分类指标不适用 (回归任务),已验证无 CPU fallback (所有参数 device npu:0,输出 device npu:0)

性能

torch.npu.synchronize() 前后计时,首轮含编译:

  • batch 16, 81×10, FP32, npu:0:
    • compile/first-run ~0.80-125 ms (首次含图编译)
    • 稳定阶段 10 次: avg 0.87 ms, min 0.56 ms, max 0.926 ms, p50 0.916 ms, p90 0.926 ms
    • 吞吐 18389 rows/s (≈1153 inferences/s per row?), HBM 峰值 < 100MB
  • CPU 同模型 avg 0.23 ms (batch16), NPU 后续可优化 (host-bound 小模型)
  • 预处理 (pandas/随机生成) 不计入,仅模型 forward
  • 权重内存 83KB, 参数量约 (81×64+64×64+64×10)=~9.6K

证据图

三图由 scripts/render_xterm_evidence.mjs --style raw 根据本次真实日志生成 (非 Pillow 模拟),深灰背景白字,提示符 atomgit@pod-a94f8701860f4700b161b00e290de466:~$:

  • assets/agent_workflow.png - 侦察、数据检查、下载、加载、NPU 推理、一致性、benchmark、提交校验
  • assets/npu_device_call.png - npu-smi info + check_npu.py + 参数 device/dtype
  • assets/model_result.png - python inference.py 完整输出

workflow device result

限制

  • 仅验证推理 (deterministic mean action),不含训练、无环境交互回放,真实交易需接入 FinRL Gym Env 并循环 obs -> action -> env.step
  • 合成输入仅 smoke consistency,非完整 2019-2023 回测;完整回测需 Nasdaq 数据与 env
  • 数值误差来源 FP32 正常范围,若切 BF16 需放宽 atol
  • 31 个 zip 中仅默认验证 ug_cppo_seed47,其他 29 个架构相同可直接替换 DEFAULT_ZIP
  • 不支持 tokenizer-only 或视觉任务

引用

@inproceedings{dong2026ugcppo,
  title={UG-CPPO: Uncertainty-Gated LLM Infusion for Risk-Sensitive RL Trading Agents},
  author={Dong, Grace-Esther},
  booktitle={NeurIPS 2026 FinAI Contest},
  year={2026}
}