J
gcw_9PElOpHK/Kronos-mini-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

Kronos-mini 昇腾 NPU 部署与推理验证

模型:NeoQuasar/Kronos-mini(金融 K 线 OHLCV 时间序列预测,~4.1M 参数 Transformer + ~4.1M 参数 Tokenizer-2k) 类别:表格数据 / 时间序列预测 推理引擎:PyTorch 2.9.0 + torch_npu(Ascend 910) 验证结论:NPU 推理 3 组测试用例 ALL PASS,CPU/NPU 一致性校验 PASS ✅


1. 模型简介

Kronos-mini 是 NeoQuasar 发布的金融 K 线(OHLCV)时间序列预测基础模型 (AAAI 2026,论文 arXiv:2508.02739)中最小的成员,在 45+ 全球交易所数据上预训练:

组件权重来源参数规模上下文
KronosTokenizer-2kNeoQuasar/Kronos-Tokenizer-2k~4.1M2048
KronosTransformerNeoQuasar/Kronos-mini~4.1M2048
  • 任务:给定最近 lookback 根 K 线(open/high/low/close/volume/amount),自回归预测未来 pred_len 根 K 线。
  • 架构:4 层 Transformer(d_model=256, n_heads=4, ff_dim=512),tokenizer 用 BSQ(Binary Spherical Quantization)将连续数值序列量化为分层离散 token(s1/s2 各 10 bit),预测器对 token 序列做自回归采样后重建为 OHLCV。
  • 特性:remote-code 模型——HF 权重仓只有 config.json + model.safetensors,架构代码 不在 HF 仓内,需从官方 GitHub shiyu-coder/Kronos(MIT)拷贝 model/ 源码包本地加载。
  • ⚠️ 与 base/small 的关键差异:Kronos-mini 配套的 tokenizer 是 Kronos-Tokenizer-2k (上下文 2048),不是 base/small 使用的 Kronos-Tokenizer-base(上下文 512)。 加载时必须指定正确权重目录,且 max_context=2048。

2. 环境依赖清单

2.1 硬件 / 系统

项版本
NPUAscend 910(本机 2 卡,61.3GB HBM/卡)
驱动npu-smi 25.5.5
CANNCANN-toolkit 8.5.1
OSLinux aarch64
Python3.11.14

版本强绑定:torch / torch_npu 与 CANN 版本强绑定,不可单独升级。本机锁定 torch==2.9.0 + torch_npu==2.9.0.post1 + CANN 8.5.1,安装后可用 python3 -c "import torch, torch_npu; print(torch_npu.__version__)" 验证。

2.2 Python 依赖(见 requirements.txt)

torch==2.9.0
torch_npu==2.9.0.post1
huggingface_hub==0.36.2
numpy==1.26.4
pandas==3.0.2
safetensors==0.7.0
einops==0.8.2
tqdm==4.67.3
requests==2.33.1

2.3 权重文件

weights/
├── kronos-mini/            # NeoQuasar/Kronos-mini  (16MB, config.json + model.safetensors)
└── kronos-tokenizer-2k/    # NeoQuasar/Kronos-Tokenizer-2k  (16MB)

3. 分步推理操作流程

步骤 1 — 准备源码与权重

# 1) 拉取架构源码(remote-code 模型需要)
git clone https://github.com/shiyu-coder/Kronos.git
cp -r Kronos/model .          # 拷贝 model/ 包到本仓

# 2) 拉取双组件权重(GitCode 镜像, resolve/main 路径可直接下载)
#    Kronos-mini:        https://ai.gitcode.com/hf_mirrors/NeoQuasar/Kronos-mini
#    Kronos-Tokenizer-2k: https://ai.gitcode.com/hf_mirrors/NeoQuasar/Kronos-Tokenizer-2k
curl -sL "https://ai.gitcode.com/hf_mirrors/NeoQuasar/Kronos-mini/resolve/main/model.safetensors" \
  -o weights/kronos-mini/model.safetensors
curl -sL "https://ai.gitcode.com/hf_mirrors/NeoQuasar/Kronos-Tokenizer-2k/resolve/main/config.json" \
  -o weights/kronos-tokenizer-2k/config.json
# (config.json / README.md 同理; 或使用 huggingface_hub.snapshot_download)

步骤 2 — 安装依赖

pip install -r requirements.txt
# CANN 与 torch_npu 安装方式见 readme.md 依赖部分(须与 CANN 8.5.1 匹配)

步骤 3 — 单次预测

cd Kronos-mini-NPU
python3 inference.py --lookback 256 --pred-len 16

步骤 4 — 3 组测试用例(demo)

python3 inference.py --demo
# Test Case 1: lookback=128 pred_len=8   (短上下文)
# Test Case 2: lookback=256 pred_len=16  (标准)
# Test Case 3: lookback=512 pred_len=24  (满上下文)

步骤 5 — CPU/NPU 一致性校验

python3 inference.py --compare-cpu --lookback 128

4. 测试用例与输出结果

4.1 环境输出(NPU 设备调用)

[env] NPU available=True device=npu:0 name=Ascend910_9362 total_mem=61.3GB
[env] torch=2.9.0+cpu  torch_npu=2.9.0.post1+gitee7ba04
[load] KronosTokenizer=3M  KronosTransformer=4M  dtype=fp32  device=npu:0

4.2 用例 1:lookback=128, pred_len=8 —— PASS ✅

[infer] 8 步自回归耗时 0.38s  pred shape=(8, 6)
[verify] pred rows=8 cols=['open', 'high', 'low', 'close', 'volume', 'amount'] shape_ok=True
[verify] finite=True  NaN=0
[verify] 价格合理性(±30%): 预测收盘区间 [9.888,9.911] vs 历史收盘 9.880  ok=True
[verify] sanity(high>=low) ok=True  量>=0 ok=True  [info] open/close∈[low,high] 命中率=100%
[verify] 预测有效性: PASS ✅

4.3 用例 2:lookback=256, pred_len=16 —— PASS ✅

[infer] 16 步自回归耗时 0.14s  pred shape=(16, 6)
[verify] 预测收盘区间 [9.857,9.898] vs 历史收盘 9.880  ok=True
[verify] 预测有效性: PASS ✅

4.4 用例 3:lookback=512, pred_len=24(满上下文)—— PASS ✅

[infer] 24 步自回归耗时 0.21s  pred shape=(24, 6)
[verify] 预测收盘区间 [9.794,9.847] vs 历史收盘 9.880  ok=True
[verify] 预测有效性: PASS ✅

4.5 一致性校验 —— PASS ✅

[compare] s1 token 完全一致率 = 1.0000   s2 = 1.0000
[compare] s1 logits cosine = 1.000000   s2 logits cosine = 1.000000
[compare] 一致性判定: PASS ✅ (token>0.99, cosine>0.999)

4.6 预测结果样例(lookback=256 → 未来 16 根 K 线)

                         open   high    low  close      volume       amount
2024-08-29 11:35:00   9.8819  9.8874  9.8536  9.8584   758.090881  795734.31250
2024-08-29 11:40:00   9.8610  9.8831  9.8485  9.8700   260.241608  285958.87500
2024-08-29 11:45:00   9.8640  9.8825  9.8500  9.8694   179.908096  211382.25000
...(共 16 行)

5. 踩坑记录

#报错/异常原因解决方案
1'DatetimeIndex' object has no attribute 'dt'KronosPredictor.predict() 的 x_timestamp/y_timestamp 内部用 .dt 访问器,传 DatetimeIndex 不兼容必须传 pandas Series(xdf.index.to_series())
2模型设备探测不认 NPUKronosPredictor 自动探测只认 cuda/mps显式传 device="npu:0"
3No module named 'model'remote-code 模型 HF 仓无架构代码从官方 GitHub shiyu-coder/Kronos 拷贝 model/ 包,本地 from_pretrained
4fp16 下预测严重失真(token 重建错乱)KronosTokenizer 用 torch.where(z>0) 硬阈值量化,低精度下 bit 翻转默认 fp32(bf16 可接受,fp16 不推荐)
5权重目录/上下文拿错(用 base 的 Tokenizer-base 或 max_context=512)Kronos-mini 配套 Kronos-Tokenizer-2k(ctx=2048),与 base/small 不同下载 Tokenizer-2k 权重,max_context=2048
6torch_npu 导入时权限告警(owner mismatch)CANN 目录属主与运行用户不一致属无害告警,可忽略;确保 NPU 卡空闲可用
7[LOG_WARNING] can not create directory: /home/.../ascend/log无 ascend 日志目录写权限无害告警,不影响推理
8git 镜像仓库 git clone 报 redirect(ai.gitcode.com/hf_mirrors/*.git 跳转首页)hf_mirrors 镜像不开放 git 协议改用 resolve/main/ 直链 curl 下载,或 huggingface_hub.snapshot_download

6. 关键配置

  • 精度:--dtype fp32(默认)。bf16 可接受;fp16 因硬阈值量化敏感不推荐。
  • 上下文:Kronos-mini 上限 max_context=2048,lookback 需 <=2048(本仓测试数据 2500 根)。
  • 采样:T=1.0, top_k=0, top_p=0.9, sample_count=1(确定性推理)。
  • NPU 显存:模型 fp32 约 0.1GB,61GB HBM 完全够用,无需显存优化。
  • 权重下载:ai.gitcode.com/hf_mirrors/<owner>/<repo>/resolve/main/<file> 直链最稳 (镜像不开放 git clone 协议)。

7. 目录结构与截图

Kronos-mini-NPU/
├── inference.py        # 推理脚本(torch_npu,必选)
├── readme.md           # 本部署文档(必选)
├── requirements.txt    # 环境依赖清单(推荐)
├── model/              # Kronos 架构源码(官方 GitHub 拷贝)
├── data/               # K 线测试数据(kline_600977_5min.csv)
├── weights/            # 双组件权重(kronos-mini + kronos-tokenizer-2k)
├── scripts/            # 截图脚本(run_full_capture.sh / make_screenshots.py)
└── assets/             # 截图素材
    ├── agent_workflow.png     # Agent 完整适配工作流
    ├── npu_device_call.png    # NPU 硬件设备调用日志
    ├── model_result.png       # 模型最终适配验收结果
    └── agent_usage_1..3.png   # Agent 使用截图

8. 成功标准

  1. inference.py --demo:3 组测试用例(128/256/512)全部 PASS ✅;
  2. inference.py --compare-cpu:CPU/NPU token 完全一致率 > 0.99,logits cosine > 0.999;
  3. 预测输出形状正确(pred_len × 6),数值有限(无 NaN),价格在合理范围(±30%)。