m
mengsihan/NeoQuasar-Kronos-Tokenizer-2k-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

Kronos-Tokenizer-2k · 昇腾 NPU 适配

#NPU #Ascend #Ascend910 | 表格数据(金融 K 线 OHLCV)分层离散 Tokenizer

本仓库将 NeoQuasar/Kronos-Tokenizer-2k (Kronos 金融 K 线基础模型族的两级 Binary-Spherical-Quantization(BSQ)Tokenizer, revision 26966d0,约 396 万参数)适配为可在单卡昇腾 910B NPU 上真实运行的模型仓。

说明:Kronos-Tokenizer-2k 是 Kronos 预测流水线的分词器组件,不是完整自回归预测模型。 其真实推理任务是把连续的多维 K 线数据(open/high/low/close/volume/amount)量化为 分层离散 token(s1/s2),并可基于 token 重建连续数据。本适配完整实现并验证了该推理任务。

任务与模型

  • 模型:NeoQuasar/Kronos-Tokenizer-2k,revision 26966d0035065a0cae0ebad7af8ece35bc1fb51c
  • 架构:KronosTokenizer(VQ-style 编码器-解码器 Transformer + 分层 BSQuantizer)
    • d_in=6,d_model=256,n_heads=4,ff_dim=512
    • encoder/decoder 各 4 层(含 3 个 TransformerBlock + 输入/输出投影)
    • s1_bits=10,s2_bits=10(codebook_dim=20),group_size=5
  • 任务类型:表格数据(时间序列金融 K 线)分层离散 token 化 + 重建
  • 输入:(batch, context, 6) 的 float32 连续 K 线特征
  • 输出:s1/s2 token((batch, context) int64)、量化表示 (batch, context, 20)、 重建连续数据 (batch, context, 6)

数据契约

项值
数据来源官方 Kronos 仓库 finetune_csv/data/HK_ali_09988_kline_5min_all.csv(阿里 09988.HK 5 分钟 K 线)
输入列timestamps, open, high, low, close, volume, amount(顺序不变)
窗口最近 512 根 5 分钟 K 线(context=512)
行数512
时间范围2025-09-08 10:55:00 ~ 2025-09-17 16:00:00
dtypefloat32
归一化(x - mean) / (std + 1e-5),再 clip(-5, 5)(与官方 KronosPredictor 一致)
缺失值输入列无缺失;amount 缺失时置 0(官方行为)

推理脚本会校验缺列、列顺序与数值可转换性;列顺序不得改变。

环境

  • 硬件:Ascend 910B(单卡 npu:0),HBM 64GB
  • 系统:Linux aarch64(麒麟 HCE / Ubuntu 兼容)
  • 软件:Python 3.11、torch 2.9.0、torch_npu 2.9.0.post1、CANN 8.5.1
  • 设备:torch.npu.is_available()==True,torch.npu.get_device_name(0)=='Ascend910_9362'

安装

pip install -r requirements.txt

NPU 推理

默认命令(模型权重与样例数据会在首次运行时下载并缓存到本地):

python inference.py

也可显式指定本地缓存:

MODEL_DIR=/path/to/Kronos-Tokenizer-2k DATA_FILE=/path/to/kline.csv python inference.py

脚本会把模型与全部参与计算的 Tensor 显式迁移到 npu:0,使用同一份真实权重在 FP32 下完成:分层 token 化(encode)→ 离散 token 重建(decode)→ 完整前向 (z_pre/z 重建 + BSQ 量化)。推理前后执行 torch.npu.synchronize()。

真实结果(npu:0,FP32)

以最近 512 根阿里 09988.HK 5 分钟 K 线为输入:

  • s1 token:shape (1, 512),范围 [3, 1019],去重后 75 个
  • s2 token:shape (1, 512),范围 [32, 991],去重后 36 个
  • 量化表示:shape (1, 512, 20)
  • 重建误差(归一化空间):MAE 0.040343,RMSE 0.064296
  • s1 样例:[987, 987, 987, 979, 979, 475, 979, 987]
  • s2 样例:[674, 674, 674, 691, 691, 674, 691, 674]
  • 单次完整推理(encode+decode+forward):约 0.28 s

CPU-NPU 一致性

同一权重、同一输入、同一预处理、同一 dtype(FP32)、eval 模式、固定随机种子下对比:

输出最大绝对误差结果
z_pre / z / rec2.38e-06PASS(atol=1e-4, rtol=1e-3)
s1 / s2 token0.0(完全一致)PASS
quantized0.0(完全一致)PASS

离散 token 与量化表示在 CPU/NPU 上逐元素完全一致,重建输出误差在 FP32 舍入噪声量级。

性能(npu:0,FP32,context=512)

指标值
预热3 轮
正式测试10 轮
平均时延(encode+decode)6.4 ms
min / max6.3 / 6.4 ms
p50 / p90 / p956.3 / 6.4 / 6.4 ms
吞吐157.3 windows/s
峰值 NPU 显存57.84 MB

证据图

三张证据图由 xterm.js 依据本次适配的真实日志生成(--style raw),非人工补写:

  • assets/agent_workflow.png:侦察、数据检查、模型加载、NPU 推理、一致性、基准与提交校验
  • assets/npu_device_call.png:npu-smi、NPU 可用性、设备名、模型参数 device/dtype、输入输出 Tensor device
  • assets/model_result.png:默认 python inference.py 的真实完整输出

限制

  • 本仓交付的是 Kronos 分词器组件的 NPU 适配;Kronos-mini 自回归预测模型本体 (NeoQuasar/Kronos-mini)不在本仓范围内。预测需将本 tokenizer 与 Kronos 主模型联合使用。
  • 重建误差在归一化空间统计,未逆归一化回价格单位。
  • 单样本一致性属于 smoke consistency,不等于完整数据集精度评测。
  • 输入为表格 K 线数据;不适用于图片/OCR/ASR 等模态。