jsjs1258/NeoQuasar-Kronos-mini-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

NeoQuasar/Kronos-mini-NPU #NPU

Kronos-mini Ascend NPU 适配 - 金融 K 线时序预测基础模型在单卡昇腾 NPU 上的真实推理验证与性能交付。

模型简介

  • 原模型: NeoQuasar/Kronos-mini (Revision: f4e68697d9d5aed55cef5c96aabc3376bcad9f81)
  • 配套 Tokenizer: NeoQuasar/Kronos-Tokenizer-2k (Revision: 26966d0035065a0cae0ebad7af8ece35bc1fb51c)
  • 架构: Tokenizer (BSQuantizer + Transformer 4层) + Forecasting Transformer (4层, d_model 256, n_heads 4, ff_dim 512), hierarchical discrete tokens (s1_bits 10, s2_bits 10)
  • 参数量: 4.1M (mini) + 15.8M (tokenizer)
  • 上下文长度: 2048 (本适配使用 max_context 512)
  • 任务类型: 时间序列预测 (K-line financial forecasting, OHLCV)
  • Pipeline tag: time-series-forecasting
  • 许可证: MIT
  • 硬件: Ascend 910B (910_9362), 单卡 npu:0

Kronos 是首个面向金融 K 线的多市场预训练基础模型, 采用两阶段分层量化 (hierarchical quantization) 将连续 OHLCV 序列离散化, 再用自回归 Transformer 学习时序与跨资产表示。本仓库将原始 PyTorch 实现无修改地迁移到昇腾 NPU, 验证 CPU-NPU 数值一致性与真实推理性能。

数据契约

项值
输入类型pd.DataFrame + pd.Series timestamps
必需列open, high, low, close (float32), 可选 volume, amount (缺失时自动补 0)
时间特征由 calc_time_stamps 从 timestamp 提取 minute, hour, weekday, day, month (int)
列顺序固定 ['open','high','low','close','volume','amount']
dtypefloat32 (归一化后 clip 到 [-5,5])
预处理按样本均值/方差归一化 (x - mean)/(std+1e-5), clip, 预测后逆归一化 pred * (std+1e-5) + mean
缺失值不允许 NaN, 含 NaN 时抛异常
窗口lookback (历史长度, 本验证 256) + pred_len (预测长度, 本验证 32); 输入 Tensor 形状 [batch, seq_len, 6]
批处理支持 predict_batch 多序列并行, 要求历史长度一致
时间戳输入 x_timestamp / y_timestamp 为 pandas datetime, 用于 TemporalEmbedding
缩放说明预测输出已逆归一化还原到原始价格量纲
示例数据合成 K 线 (随机游走 close, OHLC 带噪声, volume 1000-10000), SHA-256 可复现 (seed 42)

不得擅自改变列顺序或用随机输入充当业务结果; 评估时需记录 SHA-256、schema 与预处理契约。

环境

  • Python: 3.11.14
  • PyTorch: 2.9.0+cpu
  • torch_npu: 2.9.0.post1+gitee7ba04
  • Transformers: 4.57.6
  • Pandas: 3.0.2 / NumPy 1.26.4
  • Einops: 0.8.1, safetensors 0.6.2, tqdm 4.67.1
  • CANN: /usr/local/Ascend/cann-8.5.1, SOC_VERSION ascend910_9391
  • NPU: Ascend910_9362 x2 (使用 npu:0), npu-smi 25.5.5
  • 内存: 推理权重约 16.4M + 15.8M, 单卡 64GB HBM 充足
  • HF_ENDPOINT: https://hf-mirror.com (通过环境变量走镜像, 禁止代码内覆盖代理)

安装

pip install -r requirements.txt
# 需已安装 CANN Toolkit 与 torch_npu, 并配置 ASCEND_TOOLKIT_HOME

模型权重首次运行时自动从 HuggingFace (经 hf-mirror) 下载:

  • NeoQuasar/Kronos-mini -> ./models/Kronos-mini
  • NeoQuasar/Kronos-Tokenizer-2k -> ./models/Kronos-Tokenizer-2k

本地已缓存则直接加载, 正式推理不依赖隐式联网下载; 也可预先用 huggingface_hub.snapshot_download 下载到上述路径。

NPU 推理

默认命令 (真实 NPU 推理, 自动同步计时):

python inference.py

关键逻辑 (见 inference.py):

  • 显式 torch.npu.set_device(0), 模型与所有参与计算的 Tensor 迁移到 npu:0
  • 计时前后调用 torch.npu.synchronize() 区分编译与稳定耗时
  • 动态 shape 首轮编译后复跑, 禁止静默 CPU fallback (检测首参数 device, 发现 fallback 立即失败退出)
  • 推理参数 top_k=1 (贪心) 保证 CPU-NPU 一致性可验证, T=1.0, top_p=0.9

真实结果

以下为本次在 npu:0 上执行 python inference.py 的真实输出 (lookback 256, pred_len 32, batch 1, float32):

[RESULT] Device: npu:0, Elapsed (synchronized): 0.5810s (首轮含编译)
[RESULT] Output shape: (32, 6)
[RESULT] Forecast head:
               open      high       low     close   volume      amount
2024-01-02 06:50:00 100.486 100.578 100.365 100.545 3368.03 364343.75
2024-01-02 06:55:00 100.467 100.419 100.125 100.147 3938.60 423280.71
2024-01-02 07:00:00 100.191 100.259 100.024 100.101 4024.15 429806.00
...
[VERIFY] Output finite: True, shape correct: True

完整日志见 assets/model_result.png (由 xterm.js 从真实日志渲染)。

一致性

  • 策略: 同一权重、同一输入、同一预处理、同一 dtype (float32)、同一随机种子 (42)、eval mode, 对比原始 forecast tensor
  • 输入: 合成 OHLCV (seed 42, 800 行, lookback 256, pred_len 32), 已保存 cpu_output.npy / npu_output.npy
  • 命令:
python scripts/compare_outputs.py --cpu working/cpu_output.npy --npu working/npu_output.npy --task forecasting --atol 1e-2 --rtol 1e-2
# 同时验证严格阈值
python scripts/compare_outputs.py --cpu working/cpu_output.npy --npu working/npu_output.npy --task forecasting --atol 1e-4 --rtol 1e-3
  • 结果: 两档阈值均 PASS
    • cpu_shape [32,6] npu_shape [32,6] finite true
    • max_abs_error 0.125 (amount 列大数值, 相对误差 <1e-3)
    • mean_abs_error 0.007
    • atol 1e-2 rtol 1e-2: passed true
    • atol 1e-4 rtol 1e-3: passed true
  • 说明: 单样本 smoke consistency, 非全量 benchmark; 分类任务应对比 logits/probabilities, 本模型为连续 forecast

性能

测试条件: batch 1, lookback 256, pred_len 32, 6 通道 (OHLCV+amount), dtype float32, npu:0, 预热 3 次, 正式 10 次, 每轮 torch.npu.synchronize() 同步计时 (不含 CSV 读取与 DataFrame 预处理, 仅模型推理)。

指标值
首轮编译+推理0.5810s
稳定 avg0.2182s
min / max0.2094s / 0.2220s
p50 / p90 / p950.2193s / 0.2208s / 0.2214s
吞吐4.58 windows/s (1/avg)
CPU 对照 avg1.85s (NPU 加速约 8.5x)
dtypefloat32
峰值显存<500 MB (4.1M 参数)

表格/时序模型分别报告 rows/s vs windows/s; 预处理是否计时已说明。

证据图

三张 PNG 由 xterm.js 根据本次真实日志通过 scripts/render_xterm_evidence.mjs --style raw 生成 (非 Matplotlib 模拟), 深灰背景白色等宽字体, 提示符 atomgit@pod-a94f8701860f4700b161b00e290de466:~$:

  • assets/agent_workflow.png - 侦察、数据检查、下载、加载、NPU 推理、一致性、benchmark、提交校验全流程
  • assets/npu_device_call.png - npu-smi info、NPU 可用性、设备名、模型参数 device/dtype、输入输出 Tensor device
  • assets/model_result.png - 默认 python inference.py 真实完整输出

图片仅为日志渲染, 提示符为展示标签, 不证明服务器身份。

agent workflow npu device call model result

限制

  • 仅验证推理 (inference), 训练需 fit() 的表格模型不在本仓范围
  • 输入长度受 max_context 限制 (本配置 512, 原模型支持 2048), 超长自动截断
  • 仅支持单卡 npu:0, 未验证多卡/分布式
  • 量化/图模式/编译缓存未启用, 首轮编译时间单独报告
  • 随机采样固定 top_k=1 保证可复现; 概率预测如需多路径采样, 需评估统计指标 (CRPS/pinball) 而非单点 allclose
  • 超出单卡显存 (MoE/超大模型) 不适用; 本模型估算 <100 MB, 安全