sheepss/NeoQuasar-Kronos-Tokenizer-2k-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

NeoQuasar/Kronos-Tokenizer-2k on Ascend NPU

标签:#NPU #Ascend #Ascend910 #TimeSeries #Kronos #Tokenizer #Financial

1. 模型简介

本仓库适配 NeoQuasar/Kronos-Tokenizer-2k(revision 26966d0035065a0cae0ebad7af8ece35bc1fb51c)到华为昇腾 NPU(单卡 npu:0),并完成真实推理与 CPU-NPU 一致性验证。

Kronos 是首个开源金融 K 线(Candlestick / K-line)基础模型,在 45+ 全球交易所、超过 120 亿条 K 线记录上预训练,采用「两阶段」框架:先由专用 tokenizer 将连续多维 K 线数据量化为层级离散 token,再由自回归 Transformer 在 token 空间学习预测。Kronos-Tokenizer-2k 是其中 2048 上下文长度版本的 tokenizer 组件(Kronos-mini 的配套 tokenizer),通过 Binary Spherical Quantization(BSQ)把 open/high/low/close/volume/amount 六维连续 K 线压缩为层级离散 token(s1_bits=10 + s2_bits=10,20 维 codebook,group_size=5),并可从 token 无损重建回价格/成交量空间。

  • 模型仓库:https://huggingface.co/NeoQuasar/Kronos-Tokenizer-2k
  • 参考代码:https://github.com/shiyu-coder/Kronos (MIT License)
  • 参数量:3,958,042(约 3.96M,fp32 权重 15.8 MB)
  • 架构:Linear embed → 4 层 Transformer 编码器(RoPE + SDPA)→ BSQ 量化 → 4 层 Transformer 解码器 → Linear head

重要说明:该检查点是 tokenizer 组件,本身不是完整的预测模型。完整预测需配合配套的自回归模型(如 Kronos-mini)。本仓库的目标是让该 tokenizer 的真实 tokenization/重建推理在昇腾 NPU 上正确运行并完成一致性验证;同时附带了与 Kronos-mini 联合的端到端预测验证作为补充证据。

2. 数据契约

项目值
输入 shape[batch, seq_len, d_in=6],float32
通道顺序open, high, low, close, volume, amount(不得调换)
预处理按窗口逐通道 z-score:(x - mean) / (std + 1e-5),再裁剪到 [-5, 5](官方 KronosPredictor 约定)
输出(z_pre, z) 两路重建、quantized(±1/√d 的 20 维双极性表示)、离散 token 索引(s1/s2 各 [batch, seq_len],范围 [0,1023])
上下文长度该 checkpoint 支持 seq_len ≤ 2048
验证数据真实 A 股 5 分钟 K 线(XSHG 风格,2500 根 bar,2024-06-18 ~ 2024-08-29;数据集 SHA-256 aa5efe0121b7cc098db1a169ed38f9878681ef14a93c85d54a618fd073048899)。inference.py 内嵌其中一段真实行情摘录作为默认输入

3. 验证环境

项目值
硬件Atlas 800 系列,Ascend910(npu:0,Ascend910_9362)
CANN8.5.1(npu-smi 25.5.5)
PyTorch2.9.0 + torch_npu 2.9.0.post1
Python3.11.14
加载方式官方架构代码内嵌(vendored),本地 safetensors 权重加载(strict=True),无 trust_remote_code

4. 安装与推理

pip install -r requirements.txt   # torch / torch-npu / einops / safetensors 等

# 默认在 npu:0 上对内嵌的真实 K 线片段做 encode/decode 推理
python inference.py

# 其它模式
python inference.py --mode validate          # CPU vs NPU 一致性
python inference.py --mode benchmark         # 预热3次+正式10次计时
python inference.py --device cpu             # CPU 基线
# 本地权重目录(默认自动回退到 HuggingFace 下载)
KRONOS_MODEL_DIR=/path/to/Kronos-Tokenizer-2k python inference.py

5. 真实 NPU 推理结果(seq_len=512,fp32,真实 K 线输入)

device=npu:0 (Ascend910_9362)  dtype=torch.float32  parameters=3958042
[RUN] encode/decode wall(first)=350.9 ms
[RUN] token s1 shape=(1, 512) min=1 max=1019 unique=96
[RUN] token s2 shape=(1, 512) min=32 max=928 unique=39
[RUN] recon MAE(normalized space)=0.045269 RMSE=0.059676 max_abs=0.279569
FINAL STATUS: PASS

与 Kronos-mini 联合的端到端补充验证

使用同一份 Tokenizer-2k 权重 + 配套 Kronos-mini 自回归模型,lookback=400、pred_len=120、贪心解码(top_k=1,seed=123),在 npu:0 完成 120 步自回归 K 线预测:

指标(vs 未来真实值)CPUNPU
MAE(close)(元)0.063330.06333
SMAPE(all 6通道)34.05%34.05%
首轮编译耗时—1.459 s

6. CPU-NPU 一致性

同权重、同输入、同预处理、同 dtype(fp32)、固定 seed:

对比对象结果判定阈值
s1 token 索引完全一致(exact match)必须 100% 相等
s2 token 索引完全一致(exact match)必须 100% 相等
重建输出 max_abs_diff2.384e-06< 1e-3
重建输出 mean_abs_diff3.032e-07—

阈值说明:token 索引是量化后的整数结果,必须完全一致才算通过;重建张量为 fp32 连续值,受 NPU 与 CPU 的 attention/normalize 算子实现差异影响,允许 atol=1e-3。端到端联合预测中 CPU/NPU forecast 满足 allclose(rtol=1e-3, atol=1e-3)(最大绝对差 1.5 出现在 amount 通道反归一化后的绝对尺度上)。

以上为单窗口 smoke consistency,不构成完整基准评测。

7. 性能(npu:0)

Tokenizer encode+decode(预热 3 次、正式 10 次,torch.npu.synchronize() 计时,不含 CSV 加载与预处理):

指标值
avg7.700 ms
min / max7.629 / 7.772 ms
p50 / p90 / p957.705 / 7.721 / 7.747 ms
吞吐≈129.9 windows/s(seq_len=512, batch=1, fp32)
峰值显存allocated 17.5 MB / reserved 81.8 MB

联合 Kronos-mini 120 步自回归预测稳定阶段:avg 0.831 s / p50 0.814 s(≈1.20 series/s,含 120 次 decode_s1+decode_s2 循环)。

8. 证据图(xterm.js 根据本次真实日志渲染)

agent workflow

npu device call

model result

9. 限制

  • Tokenizer-only:单独使用不能产生价格预测;需配合 Kronos 系列自回归权重。
  • 一致性结论基于单卡 fp32 单窗口冒烟验证;未覆盖 bf16/fp16 与多卡场景。
  • 概率预测模式(temperature/top-p 采样)具有随机性,跨设备逐样本比对需固定贪心解码或分布级比较。
  • F.scaled_dot_product_attention 在 NPU 上由 aclnn 提供,若在其它 CANN 版本遇到不支持的情况,请升级 CANN 或替换为等价的数学实现(需记录修改)。