graceesthi/ug-cppo-finai-2025 是一个基于 Stable-Baselines3 PPO 训练的量化交易强化学习策略,任务为 FinRL Nasdaq 10 股票组合管理 (AAPL, MSFT, AMZN, NVDA, META, GOOGL, TSLA, NFLX, AMD, COST)。本仓库将其适配为可在 单卡昇腾 NPU (Ascend 910B, npu:0) 上真实运行的单步连续动作推理模型。
offline-rl (state → next continuous action)Box(-inf, inf, (81,), float32) (OHLCV + 技术指标 + 账户状态)Box(-1.0, 1.0, (10,), float32) 对应 10 支股票的仓位权重,[-1,1] 经 np.clip 映射到实际持仓比例ActorCriticPolicy (MlpPolicy, net_arch=[64,64]), 共约 18k 参数, FP32deterministic=True)graceesthi/ug-cppo-finai-2025 @ 8be042ec04ee8811d3bc4e6a69372e61f34a72d5 (ug_cppo_seed42.zip 代表权重, 同时验证 seed47 top performer 一致)torch_npu / npu:0 (Ascend910_9362), 模型参数、观测、动作输出全部位于 npu:0[8, 81] float32 观测 batch (8 个合成市场状态, seed 42)8×[10] 连续动作 (portfolio weights), 全部在 [-1,1] 边界内且有限0.66 ms, 吞吐约 12130 decisions/s (30 次同步测量均值, 含编译后)torch.npu.synchronize() 前后计时, 首轮冷启动约 1.2 ms相同权重、相同观测、相同 seed 与相同确定性采样下, CPU 与 npu:0 对比:
5.36e-07 (FP32 阈值 1e-4 + 1e-3*|ref| → 1.1e-03) → 通过| 指标 | 数值 |
|---|---|
| 设备 | npu:0 (Ascend910_9362) |
| batch / 观测 | 8 × 81 |
| dtype | float32 |
| avg / min / max | 0.6595 / 0.6336 / 0.6874 ms |
| p50 / p90 / p95 | 0.6573 / 0.6802 / 0.6834 ms |
| 吞吐 | ~12130 decisions/s (~97040 actions/s) |
| warmup / runs | 5 / 30 |
测量方式: torch.npu.synchronize() 前后 time.perf_counter(), 预热 5 次后正式 30 次。
该交易策略为轻量 MLP 策略, 无需闭环市场模拟即可验证数值契约; 环境奖励与 cumulative return 为附加评估而非替代数值一致性。真实市场回测需 FinRL 环境与历史数据, 未包含在本仓库交付中。权重文件通过 huggingface_hub 按需拉取, 本仓不包含 .zip 权重。
pip install -r requirements.txt
# 需已安装 torch_npu 与 CANN 驱动 (Ascend 910)
python inference.pyinference.py 默认从 submission/model/ug_cppo_seed42.zip 或 Hugging Face 缓存加载权重 (首次运行自动经 huggingface_hub 拉取), 在 npu:0 上执行真实推理, 输出模型 / revision、路由、后端、设备、dtype、输入摘要、动作计划、同步耗时与 PASS/FAIL。
assets/agent_workflow.png: 侦察、资源检查、NPU 推理、CPU-NPU 一致性、性能与验证日志assets/npu_device_call.png: npu-smi、NPU 可用性、设备名、模型/输入/输出 deviceassets/model_result.png: python inference.py 的模型、路由、真实动作计划、同步耗时与最终状态
