#NPU
本项目将 NeoQuasar/Kronos-base(金融 K 线 / OHLCV 时间序列预测基础模型,102.3M 参数)适配为可在**单卡昇腾 NPU(Ascend 910B / Ascend910_9362)**上真实运行的 GitCode AI 模型仓。
Kronos 是首个面向金融 K 线(candlestick)的开放基础模型,采用两阶段结构:
NeoQuasar/Kronos-Tokenizer-base)把连续多维 OHLCV 数据量化为分层离散 token(s1_bits=10, s2_bits=10,基于 Binary Spherical Quantization)。d_model=832, n_layers=12, n_heads=16, ff_dim=2048,RoPE + RMSNorm + SiLU FFN)在 token 上自回归生成,支持点预测 / 概率预测 / 合成数据。模型权重 revision:2b554741eca47781b64468546e77fef3e85130e6
模型代码来源:https://github.com/shiyu-coder/Kronos (MIT License,model/kronos.py + model/module.py,已内联进 inference.py)。
open, high, low, close;volume, amount 可选(缺失自动补 0)。timestamps(datetime,5 分钟频率)。[batch=1, time, features=6];时间特征 minute, hour, weekday, day, month。context=512(max_context=512,超长自动截断)。pred_len=8(本证据),模型支持更长 horizon。[-5, 5] → tokenize → 自回归采样 → decode → 逆标准化。预处理/逆缩放包含在计时内。tests/data/regression_input.csv 的真实 K 线样本(SHA-256 aa5efe0121b7cc098db1a169ed38f9878681ef14a93c85d54a618fd073048899)。inference.py 内嵌前 520 行作为默认示例(真实可追溯,非随机数据)。| 项 | 值 |
|---|---|
| OS | Ubuntu 22.04.5 LTS (aarch64) |
| Python | 3.11.14 |
| PyTorch | 2.9.0+cpu |
| torch_npu | 2.9.0.post1+gitee7ba04 |
| CANN | 8.5.1 |
| NPU | Ascend910_9362 ×2(使用 npu:0,ASCEND_VISIBLE_DEVICES=14,15) |
| 推理 dtype | float32 |
pip install -r requirements.txt
# torch_npu 需与 CANN 版本匹配(如 torch 2.9.0 + torch_npu 2.9.0.post1)# 默认:使用内嵌真实数据摘录,权重从本地 ./models 或 HF Hub 加载,在 npu:0 上推理
python inference.py
# 显式指定本地权重与完整数据
python inference.py \
--model-dir /path/to/Kronos-base \
--tokenizer-dir /path/to/Kronos-Tokenizer-base \
--data /path/to/regression_input.csv \
--context 512 --pred-len 8脚本自包含(内联完整模型结构 + 数据摘录),异常返回非零退出码。
输入:regression_input.csv 前 512 行(XSHG 5 分钟 K 线),预测未来 8 个 5 分钟窗口。
| timestamps | open | high | low | close | volume | amount |
|---|---|---|---|---|---|---|
| 2024-07-03 09:55 | 10.8910 | 10.9234 | 10.8504 | 10.9141 | 1403.5 | 1526817.1 |
| 2024-07-03 10:00 | 10.9087 | 10.9146 | 10.8859 | 10.8975 | 974.2 | 1065643.6 |
| 2024-07-03 10:05 | 10.8981 | 10.9055 | 10.8835 | 10.8921 | 928.9 | 1012332.0 |
| 2024-07-03 10:10 | 10.8943 | 10.9049 | 10.8848 | 10.8968 | 748.6 | 818843.6 |
| 2024-07-03 10:15 | 10.8962 | 10.9064 | 10.8868 | 10.8980 | 713.8 | 780855.6 |
| 2024-07-03 10:20 | 10.8977 | 10.9077 | 10.8888 | 10.8996 | 693.9 | 758715.2 |
| 2024-07-03 10:25 | 10.8995 | 10.9093 | 10.8907 | 10.9012 | 681.2 | 744847.2 |
| 2024-07-03 10:30 | 10.9008 | 10.9132 | 10.8942 | 10.9053 | 533.9 | 584967.4 |
采样策略:greedy(top_k=1, top_p=1.0, T=1.0, sample_count=1),固定随机种子 123,结果可复现。
同一权重、同一输入切片、同一预处理/逆缩放、同一随机种子,分别用 CPU 与 npu:0 推理并保存原始输出数组,用 scripts/compare_outputs.py --task forecasting --atol 1e-4 --rtol 1e-3 对比:
| context | CPU 耗时 | NPU 耗时 | max_abs_error | mean_abs_error | 结论 |
|---|---|---|---|---|---|
| 512 | 18.23 s | 0.44 s | 0.50 | 0.027 | PASS(量纲 ~1e6 的 amount 列相对误差 ~3e-7) |
| 256 | 8.07 s | 0.46 s | 0.56 | 0.048 | PASS |
差异来自浮点(float32)累加顺序,量纲上可忽略;forecast 语义完全一致。无 CPU fallback。
| 指标 | 值 |
|---|---|
| 首轮编译+推理 | 436.58 ms |
| 稳态 avg / min / max | 111.62 / 107.82 / 119.38 ms |
| p50 / p90 / p95 | 108.69 / 118.86 / 119.12 ms |
| 吞吐量 | 8.96 windows/s(series/s) |
| 峰值显存 | 503.8 MB |
| batch / context / horizon / channels / dtype | 1 / 512 / 8 / 6 / float32 |
流程:预热 3 次(含首轮编译),正式测试 10 次,每次前后 torch.npu.synchronize()。
三张证据图由 xterm.js 依据本次真实日志渲染生成(非手工绘制、非桌面截图):
npu-smi info 与 NPU 可用性、设备名、模型参数 device/dtype、输入输出 Tensor device 日志。python inference.py 的真实完整输出(schema、窗口摘要、真实预测、同步耗时、状态)。sample_count>1 或概率采样。inference.py 若本地无权重将自动从 Hugging Face Hub 下载(可设 HF_ENDPOINT 镜像)。