模型名称: UG-CPPO-Finai-2025 (UG-CPPO v3: Uncertainty-Gated CVaR-PPO Trading Agents)
模型链接: graceesthi/ug-cppo-finai-2025
模型描述: UG-CPPO 是一种不确定性门控的 CVaR-PPO 强化学习交易模型,用于股票投资组合配置。该模型基于 Stable-Baselines3 的 PPO 算法,结合条件风险价值(CVaR)优化和不确定性量化技术,在 10 支美股上进行多 seeds 评估(250k 训练步数,10 个随机种子)。
模型架构:
| 组件 | 角色 |
|---|---|
| Stable-Baselines3 PPO | 近端策略优化(Proximal Policy Optimization) |
| CVaR-PPO | 条件风险价值敏感的 PPO 变体 |
| UG-CPPO | 不确定性门控的 CVaR-PPO(本文方法) |
| MLP Policy | 多层感知机策略网络(Actor-Critic) |
参数规模: ~30 个预训练策略(3 算法 × 10 seeds)
动作空间: 10 维连续动作(10 支股票的投资组合权重)
观察空间: 81 维连续特征(市场特征向量)
| 依赖项 | 版本要求 | 说明 |
|---|---|---|
| Python | >= 3.10 | 推荐 3.11 |
| torch | 2.9.0 | PyTorch 框架 |
| torch_npu | 2.9.0 | 昇腾 NPU 支持(随 CANN 安装) |
| stable-baselines3 | >= 2.0.0 | 强化学习框架 |
| numpy | >= 2.0 | 数组处理 |
| 昇腾驱动 | CANN 8.5.1 | 昇腾芯片驱动及工具包 |
安装命令:
pip install torch torch_npu stable-baselines3 numpytorch_npu 说明: torch_npu 需通过昇腾 CANN (Compute Architecture for Neural Networks) 工具包安装,而非普通 pip 安装。请参考 昇腾官方文档 完成安装。
# 检查 NPU 设备
npu-smi info
# 验证 torch_npu
python3 -c "import torch_npu; print(torch_npu.__version__); import torch; print(torch.npu.is_available())"# 使用默认参数推理(UG-CPPO, seed=47)
python inference.py \
--model_path /tmp/ug-cppo-finai-2025 \
--algorithm ug_cppo \
--seed 47
# 使用 PPO 算法推理
python inference.py \
--model_path /tmp/ug-cppo-finai-2025 \
--algorithm ppo \
--seed 42
# 使用自定义输入(81维市场特征,逗号分隔)
python inference.py \
--model_path /tmp/ug-cppo-finai-2025 \
--algorithm ug_cppo \
--seed 47 \
--input "0.01,-0.02,0.03,...(共81个值)"
# 从 JSON 文件读取输入
python inference.py \
--model_path /tmp/ug-cppo-finai-2025 \
--algorithm ug_cppo \
--seed 47 \
--input market_data.json| 参数 | 类型 | 默认值 | 说明 |
|---|---|---|---|
--input | str | - | 输入数据:JSON 文件路径或逗号分隔的 81 维特征值 |
--input_file | str | - | 批量输入文件路径(每行一个样本) |
--model_path | str | 必填 | 模型 .zip 文件所在目录 |
--max_length | int | 512 | 最大特征长度(默认 512,当前模型使用 81 维) |
--seed | int | 47 | 随机种子(42-51),默认 47(最优表现种子) |
--algorithm | str | ug_cppo | 算法选择:ppo / cppo / ug_cppo |
输入:
81 维市场特征向量(随机生成,模拟 10 支股票市场数据)
AAPL, AMD, AMZN, COST, GOOGL, META, MSFT, NFLX, NVDA, TSLA输出:
[INFO] Using device: npu:0
[INFO] Loading model from: /tmp/ug-cppo-finai-2025/ug_cppo_seed47.zip
[INFO] Policy moved to npu:0
[INFO] Observation shape: (81,)
[INFO] Running NPU inference...
[RESULT] Inference completed in 0.078s
[RESULT] Device: npu:0
[RESULT] Action shape: (10,)
[RESULT] Action values: [-1.6452, 2.1882, -2.8039, 1.2478, 1.1868, 1.2853, 2.5846, -0.2367, 0.7840, 0.0013]
[INFO] Portfolio allocation (10 stocks):
AAPL: -1.6452 (做空)
AMD: 2.1882 (做多)
AMZN: -2.8039 (做空)
COST: 1.2478 (做多)
GOOGL: 1.1868 (做多)
META: 1.2853 (做多)
MSFT: 2.5846 (做多)
NFLX: -0.2367 (做空)
NVDA: 0.7840 (做多)
TSLA: 0.0013 (中性)
Total allocation: 4.5923动作解释:



| 测试项 | 结果 |
|---|---|
| NPU 设备可用 | ✅ Ascend910 (2 芯片) |
| torch_npu 版本 | 2.9.0.post1+gitee7ba04 |
| CANN 版本 | 8.5.1 |
| 模型加载 | ✅ 成功(UG-CPPO seed=47) |
| 策略网络迁移 | ✅ 成功迁移到 NPU:0 |
| 推理执行 | ✅ 成功(81维输入 → 10维动作输出) |
| 推理耗时 | ✅ ~0.078s (NPU:0) |
结论: UG-CPPO-Finai-2025 模型已成功在昇腾 NPU (Ascend910) 上完成推理验证,可正常执行股票交易策略推理。
NPU 引擎: 推理脚本通过 torch_npu 调用昇腾 NPU 进行推理,使用 .to("npu:0") 将策略网络放到 NPU 设备。
模型加载: 使用 stable_baselines3.PPO.load() 加载预训练的 .zip 文件,然后通过 .policy.to(device) 将策略网络迁移到 NPU。
输入数据格式: 模型期望 81 维市场特征向量作为输入。特征包括股票价格、成交量、技术指标等。未提供输入时使用随机生成的特征进行演示。
动作输出: 模型输出 10 维连续动作向量,表示 10 支股票(AAPL, AMD, AMZN, COST, GOOGL, META, MSFT, NFLX, NVDA, TSLA)的投资组合权重。正值表示做多,负值表示做空。
算法选择: 提供 3 种算法可选:
ppo: 标准 PPOcppo: CVaR-PPO(条件风险价值敏感)ug_cppo: UG-CPPO(不确定性门控,本文方法)种子选择: 提供 10 个预训练种子(42-51),seed=47 在原始评估中表现最优(Rachev ratio 1.0104)。
依赖安装顺序: 建议先安装 CANN 工具包(包含 torch_npu),再安装其他 Python 依赖。