JeffDing/ug-cppo-finai-2025-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

UG-CPPO-Finai-2025 昇腾NPU部署文档

1. 模型简介

模型名称: UG-CPPO-Finai-2025 (UG-CPPO v3: Uncertainty-Gated CVaR-PPO Trading Agents)

模型链接: graceesthi/ug-cppo-finai-2025

模型描述: UG-CPPO 是一种不确定性门控的 CVaR-PPO 强化学习交易模型,用于股票投资组合配置。该模型基于 Stable-Baselines3 的 PPO 算法,结合条件风险价值(CVaR)优化和不确定性量化技术,在 10 支美股上进行多 seeds 评估(250k 训练步数,10 个随机种子)。

模型架构:

组件角色
Stable-Baselines3 PPO近端策略优化(Proximal Policy Optimization)
CVaR-PPO条件风险价值敏感的 PPO 变体
UG-CPPO不确定性门控的 CVaR-PPO(本文方法)
MLP Policy多层感知机策略网络(Actor-Critic)

参数规模: ~30 个预训练策略(3 算法 × 10 seeds)

动作空间: 10 维连续动作(10 支股票的投资组合权重)

观察空间: 81 维连续特征(市场特征向量)


2. 环境依赖

依赖项版本要求说明
Python>= 3.10推荐 3.11
torch2.9.0PyTorch 框架
torch_npu2.9.0昇腾 NPU 支持(随 CANN 安装)
stable-baselines3>= 2.0.0强化学习框架
numpy>= 2.0数组处理
昇腾驱动CANN 8.5.1昇腾芯片驱动及工具包

安装命令:

pip install torch torch_npu stable-baselines3 numpy

torch_npu 说明: torch_npu 需通过昇腾 CANN (Compute Architecture for Neural Networks) 工具包安装,而非普通 pip 安装。请参考 昇腾官方文档 完成安装。


3. 推理步骤

3.1 环境准备

# 检查 NPU 设备
npu-smi info

# 验证 torch_npu
python3 -c "import torch_npu; print(torch_npu.__version__); import torch; print(torch.npu.is_available())"

3.2 运行推理

# 使用默认参数推理(UG-CPPO, seed=47)
python inference.py \
  --model_path /tmp/ug-cppo-finai-2025 \
  --algorithm ug_cppo \
  --seed 47

# 使用 PPO 算法推理
python inference.py \
  --model_path /tmp/ug-cppo-finai-2025 \
  --algorithm ppo \
  --seed 42

# 使用自定义输入(81维市场特征,逗号分隔)
python inference.py \
  --model_path /tmp/ug-cppo-finai-2025 \
  --algorithm ug_cppo \
  --seed 47 \
  --input "0.01,-0.02,0.03,...(共81个值)"

# 从 JSON 文件读取输入
python inference.py \
  --model_path /tmp/ug-cppo-finai-2025 \
  --algorithm ug_cppo \
  --seed 47 \
  --input market_data.json

3.3 推理参数说明

参数类型默认值说明
--inputstr-输入数据:JSON 文件路径或逗号分隔的 81 维特征值
--input_filestr-批量输入文件路径(每行一个样本)
--model_pathstr必填模型 .zip 文件所在目录
--max_lengthint512最大特征长度(默认 512,当前模型使用 81 维)
--seedint47随机种子(42-51),默认 47(最优表现种子)
--algorithmstrug_cppo算法选择:ppo / cppo / ug_cppo

4. 测试样例及输出结果

样例 1:UG-CPPO (seed=47) 投资组合推理

输入:

81 维市场特征向量(随机生成,模拟 10 支股票市场数据)
AAPL, AMD, AMZN, COST, GOOGL, META, MSFT, NFLX, NVDA, TSLA

输出:

[INFO] Using device: npu:0
[INFO] Loading model from: /tmp/ug-cppo-finai-2025/ug_cppo_seed47.zip
[INFO] Policy moved to npu:0
[INFO] Observation shape: (81,)
[INFO] Running NPU inference...
[RESULT] Inference completed in 0.078s
[RESULT] Device: npu:0
[RESULT] Action shape: (10,)
[RESULT] Action values: [-1.6452, 2.1882, -2.8039, 1.2478, 1.1868, 1.2853, 2.5846, -0.2367, 0.7840, 0.0013]

[INFO] Portfolio allocation (10 stocks):
  AAPL:  -1.6452 (做空)
  AMD:    2.1882 (做多)
  AMZN:  -2.8039 (做空)
  COST:   1.2478 (做多)
  GOOGL:  1.1868 (做多)
  META:   1.2853 (做多)
  MSFT:   2.5846 (做多)
  NFLX:  -0.2367 (做空)
  NVDA:   0.7840 (做多)
  TSLA:   0.0013 (中性)
  Total allocation: 4.5923

动作解释:

  • 正值表示做多(买入)
  • 负值表示做空(卖出)
  • 值越大表示投资组合权重越高

5. Agent适配截图

5.1 Agent适配全过程截图

Agent 适配流程

5.2 NPU设备调用截图

NPU 设备调用

5.3 模型适配结果截图

模型适配结果


6. NPU运行验证信息

测试项结果
NPU 设备可用✅ Ascend910 (2 芯片)
torch_npu 版本2.9.0.post1+gitee7ba04
CANN 版本8.5.1
模型加载✅ 成功(UG-CPPO seed=47)
策略网络迁移✅ 成功迁移到 NPU:0
推理执行✅ 成功(81维输入 → 10维动作输出)
推理耗时✅ ~0.078s (NPU:0)

结论: UG-CPPO-Finai-2025 模型已成功在昇腾 NPU (Ascend910) 上完成推理验证,可正常执行股票交易策略推理。


7. 注意事项

  1. NPU 引擎: 推理脚本通过 torch_npu 调用昇腾 NPU 进行推理,使用 .to("npu:0") 将策略网络放到 NPU 设备。

  2. 模型加载: 使用 stable_baselines3.PPO.load() 加载预训练的 .zip 文件,然后通过 .policy.to(device) 将策略网络迁移到 NPU。

  3. 输入数据格式: 模型期望 81 维市场特征向量作为输入。特征包括股票价格、成交量、技术指标等。未提供输入时使用随机生成的特征进行演示。

  4. 动作输出: 模型输出 10 维连续动作向量,表示 10 支股票(AAPL, AMD, AMZN, COST, GOOGL, META, MSFT, NFLX, NVDA, TSLA)的投资组合权重。正值表示做多,负值表示做空。

  5. 算法选择: 提供 3 种算法可选:

    • ppo: 标准 PPO
    • cppo: CVaR-PPO(条件风险价值敏感)
    • ug_cppo: UG-CPPO(不确定性门控,本文方法)
  6. 种子选择: 提供 10 个预训练种子(42-51),seed=47 在原始评估中表现最优(Rachev ratio 1.0104)。

  7. 依赖安装顺序: 建议先安装 CANN 工具包(包含 torch_npu),再安装其他 Python 依赖。


参考链接

  • 📄 论文: UG_CPPO_paper.pdf
  • 💻 代码仓库: GitHub – graceesthi/ug_cppo
  • 🤖 原模型: HuggingFace – graceesthi/ug-cppo-finai-2025