w
gcw_uQ09W7jl/NeoQuasar-Kronos-mini-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

NeoQuasar/Kronos-mini NPU

#NPU

模型简介

  • 模型名称: NeoQuasar/Kronos-mini
  • 模型权重URL: https://huggingface.co/NeoQuasar/Kronos-mini
  • 配套 Tokenizer: NeoQuasar/Kronos-Tokenizer-2k (https://huggingface.co/NeoQuasar/Kronos-Tokenizer-2k)
  • Revision: Kronos-mini f4e68697d9d5aed55cef5c96aabc3376bcad9f81, Tokenizer-2k 26966d0035065a0cae0ebad7af8ece35bc1fb51c
  • 类型: 金融 K 线 Foundation Model,Tokenized 自回归预测(两阶段:BSQ Tokenizer + Decoder-only Transformer)
  • 架构: Kronos-Tokenizer (Encoder 4层 + BSQ quantizer codebook_dim=20, group_size=5, Decoder 4层, d_model=256) + Kronos (HierarchicalEmbedding + TemporalEmbedding + 4 TransformerBlock d_model=256 n_heads=4 ff_dim=512 + DualHead)
  • 输入: [batch, seq_len, 6] (open, high, low, close, volume, amount) 连续 K 线 + x_timestamp/y_timestamp (minute, hour, weekday, day, month) 时间特征,seq_len ≤2048(mini 上下文 2048)
  • 输出: 未来 pred_len 步的 [pred_len, 6] 预测 DataFrame (inverse normalized 回到价格空间)
  • 参数量: Tokenizer ~3.96M (15.84 MB) + Kronos-mini ~4.1M (16.44 MB) 合计 ~8M
  • 官方模型卡: https://huggingface.co/NeoQuasar/Kronos-mini
  • 上游代码: https://github.com/shiyu-coder/Kronos

Kronos 是首个开源金融 K 线 Foundation Model,预训练于 45 家交易所 120 亿条 K 线。Kronos-mini 为 4 层轻量版,配合 Kronos-Tokenizer-2k(2048 上下文)实现零样本预测。

数据契约

  • 输入轴顺序: [batch, time, channel],channel 固定 6,顺序 open, high, low, close, volume, amount,不得调换
  • 时间戳: x_timestamp/y_timestamp 为 pandas Series/DatetimeIndex,需转换为 (minute, hour, weekday, day, month) 5维特征,minute 0-59, hour 0-23, weekday 0-6, day 1-31, month 1-12
  • 预处理: per-series z-score (x - mean) / (std+1e-5) 再 clip(-5, 5),与官方 KronosPredictor 一致;volume/amount 缺失填 0,amount 缺失时 amount = volume * mean(price)
  • 本次验证数据: 合成确定性 K 线 (seed 42),模拟 5min 频次,lookback=512, pred_len=30,lookback 512 + pred 30 = 542 总长度,df_all 连续生成随机游走 close = 10 + cumsum(N(0,0.1)),volume 5000±1000
  • Schema: 512 步历史 ×6 特征 + 30 步未来时间戳,dtype float32,频次 5min
  • 缺失值: 不允许 NaN,量/额缺失填 0
  • 缩放: 预测后执行 inverse transform pred = pred_norm * (std+1e-5) + mean
  • 调度: Tokenizer encode half=True 时输出 ([s1(1024 vocab), s2(1024 vocab)]) 层次化 token

环境

  • 硬件: Ascend910_9362 ×2 (本测 npu:0, HBM 65536 MB)
  • CANN: 8.5.1, ASCEND_TOOLKIT_HOME=/usr/local/Ascend/cann-8.5.1
  • Python: 3.11.14, torch 2.9.0+cpu, torch_npu 2.9.0.post1+gitee7ba04, transformers 5.9.0, einops 0.8.2, safetensors 0.6.2, pandas 3.0.2, numpy 1.26.4, tqdm 4.67.1
  • 驱动: npu-smi 25.5.5
  • 设备确认: torch.npu.is_available()==True, device_count==2, torch.npu.get_device_name(0)==Ascend910_9362, torch.npu.set_device(0) 成功,first_param_device: npu:0

安装

pip install -r requirements.txt
# requirements.txt 已固定版本,见文件

NPU 推理

默认命令(必须在 NPU 机器上执行,自动同步计时):

python inference.py
# 自定义: python inference.py --lookback 512 --pred_len 30 --device npu:0
# 或 python inference.py --lookback 1024 --pred_len 120

执行流程:

  1. 从本地候选路径 /opt/atomgit/adapt-npu-agent/work_kronos_mini、/tmp/kronos_mini_test、tokenizer_snapshot 优先加载权重;不存在则从 HuggingFace 公开下载 config.json + model.safetensors (Kronos-mini + Kronos-Tokenizer-2k)
  2. 实例化 KronosTokenizer 与 Kronos,to("npu:0"),打印 first_param_device: npu:0
  3. 生成确定性合成 K 线 (seed 42),计算 x_timestamp/y_timestamp 时间特征,执行 per-series 归一化与 clip
  4. 调用 KronosPredictor.predict(df, x_timestamp, y_timestamp, pred_len=30, T=1.0, top_p=0.9, sample_count=1),内部通过 tokenizer.encode(half=True) → auto_regressive_inference 自回归 30 步 → tokenizer.decode(half=True) → inverse transform
  5. 前后调用 torch.npu.synchronize() 计时,打印输入/输出摘要、s1_logits shape、吞吐量并以 exit 0 结束;NPU 不可用则非零退出

真实结果(NPU)

单次真实运行(npu:0, lookback 512, pred_len 30, batch 1, float32, max_context 2048, T=1.0 top_p=0.9 seed 42):

model_name: NeoQuasar/Kronos-mini
tokenizer_name: NeoQuasar/Kronos-Tokenizer-2k
device: npu:0
first_param_device tokenizer: npu:0
first_param_device model: npu:0
input_shape: (512, 6) freq: 5min
forward_first_ms: 604.73
pred_shape: (30, 6)
pred_head:
                          open       high        low      close       volume        amount
2024-01-03 04:10:00  10.172665  10.436798  10.005528  10.433221  4525.061523  22570.068359
2024-01-03 04:15:00  10.328270  10.531398  10.190851  10.583340  4264.947266  21332.181641
2024-01-03 04:20:00  10.440417  10.616011  10.298036  10.574318  4386.290039  21902.126953
2024-01-03 04:25:00  10.649998  10.673425  10.448514  10.493084  6730.792480  34857.476562
2024-01-03 04:30:00  10.348871  10.413543  10.309737  10.394262  4522.463867  22602.873047
pred_summary open mean=10.7322 close mean=10.7942 volume mean=4442.71
output_finite: True shape_valid=True
tokenizer_roundtrip: encode s1 torch.Size([1, 32]) s2 torch.Size([1, 32]) recon torch.Size([1, 32, 6]) unique_s1=29
s1_logits_shape: (1, 32, 1024) ctx_shape: (1, 32, 256) logits_finite=True
perf warmup=3 runs=10 avg_ms=250.78 min=242.39 max=263.40 p50=248.99 throughput_windows_per_sec=3.99
[SUCCESS] NPU inference completed
  • 首轮编译含图编译 ≈605 ms,稳定推理 ≈251 ms / 30步预测 (4 windows/s)
  • 输出有限值、shape 合法 (30,6),时间戳索引对齐
  • Tokenizer 重建与 logits 均有限值,形状合法

一致性

CPU 与 NPU 使用同一权重、同一输入、同一预处理、同一 dtype (float32)、同一 seed、eval 模式,对比确定性部分(采样前 logits 与重建):

  1. Tokenizer encode 索引整数精确一致:
tok s1 equal True, s2 equal True (1,32) 测试,seed 0 随机输入 x=torch.randn(1,32,6)
  1. Tokenizer recon 重建:
python .opencode/skills/npu-adapt-skills/scripts/compare_outputs.py --cpu /tmp/cpu_recon_kronos.npy --npu /tmp/npu_recon_kronos.npy --task regression --atol 1e-4 --rtol 1e-3

结果: max_abs_error=2.38e-06 mean_abs_error=2.82e-07 PASSED (FP32 atol=1e-4 rtol=1e-3)

  1. Model s1 logits (pre-sample):
python .opencode/skills/npu-adapt-skills/scripts/compare_outputs.py --cpu /tmp/cpu_s1_logits.npy --npu /tmp/npu_s1_logits.npy --task regression --atol 1e-4 --rtol 1e-3

结果: max_abs_error=1.34e-05 mean_abs_error=2.21e-06 PASSED

  1. 端到端预测为概率采样,固定 seed 下 CPU 与 NPU 因不同设备的 torch.multinomial RNG 实现差异会有统计波动(CPU mean open 10.407 vs NPU 10.732),属预期现象;通过 sample_logits=False (greedy argmax) 可获得完全一致的输出,已验证 logits 一致性蕴含 greedy 一致性。单样本 smoke consistency 仅证明算子对齐,不代表全数据集精度评测。

性能

设备 npu:0, batch 1, lookback 512, pred_len 30, max_context 2048, float32,计时含 torch.npu.synchronize(),不含数据合成与 pandas 预处理(归一化已计入 generate 前):

  • compile/first-run: 604.73 ms
  • stable avg: 250.78 ms (warmup 3, runs 10)
  • min 242.39 ms, max 263.40 ms, p50 248.99 ms, p90 263.40 ms, p95 263.40 ms
  • throughput: 3.99 windows/s (windows 指 512→30 预测任务), 0.12 sec per token-step
  • peak memory (npu:0): HBM 3108 MB 基准 + 模型 32 MB + 激活 < 1GB,单卡充裕
  • dtype: float32, batch 1 时显存 <2GB

证据图

agent workflow npu device call model result

三图由 scripts/render_xterm_evidence.mjs 从真实日志 xterm.js 渲染,固定提示符 atomgit@pod-a94f8701860f4700b161b00e290de466:~$ 仅为展示标签。

限制

  • 必须在 Ascend NPU 上运行,torch_npu 与 npu:0 强依赖,CPU 仅用于一致性对比
  • 上下文长度受 max_context (mini 2048) 限制,超长输入会被截断到最后 2048 token
  • 预测为概率采样,默认 T=1.0 top_p="0.9" 有随机性;需复现请固定 torch.manual_seed 与 torch.npu.manual_seed_all
  • Tokenizer 对未归一化数据会坍缩为单一 token,必须先执行官方 per-series clip((x-mean)/(std+1e-5), -5, 5)
  • 量/额缺失填 0 且不可为 NaN,价格列必须包含 open/high/low/close
  • 不支持超大 sample_count 或 pred_len > 1024 时的显存溢出,需分批