liucu/mldi-lab-Kairos_23m-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

#NPU

mldi-lab/Kairos_23m — Ascend NPU 适配

模型简介

  • 模型名称: mldi-lab/Kairos_23m (KairosModel, 23M)
  • 权重URL: https://huggingface.co/mldi-lab/Kairos_23m
  • Revision: main (model.safetensors 87.76 MB, 23,000,965 参数 float32)
  • 架构: Mixture-of-Size Encoder (Top-K granularity router + null experts) + Heterogeneity-Aware Transformer with Dynamic Rotary Position Embedding (DRoPE, instance-wise RoPE, exp init, log scale) + Multi-Patch Decoder (learnable forecast tokens, parallel multi-patch prediction)
  • 任务: 零样本概率预测 — 输入 past_target [B, context] 输出 prediction_outputs [B, 9, prediction_length] 9分位数 (0.1~0.9), median 取 0.5
  • 上下文/预测: context_length 2048 / prediction_length 64 (config 默认, 支持 64~96, patch_size 128 stride 128)
  • 训练数据: PreSTS 300B 时间点 (混合粒度编码 + DRoPE)
  • 框架: tsfm==0.1.0 (foundation-model-research/Kairos) + transformers 4.57.6, 自定义 KairosModel 非 transformers 内置, 需 trust_remote_code=True + AutoModel.register(kairos)
  • NPU 兼容: 仅一处算子不兼容 — torch.abs(torch.fft.rfft(complex)) 在 Ascend 上报错 AclNN Abs complex, 已在推理侧打补丁: 若 device.type=="npu" 则 rfft+abs 走 CPU 再回 NPU, 其余路径 (polar/view_as_complex/DRoPE) 原生支持
  • 许可证: apache-2.0

数据契约

项值
轴顺序[B, T] (严格, past_target 二维 [batch, time], 内部加 s_features via FFT)
形状batch=2, context=2048 → 输出 [2, 9, 64] (9 quantiles × 64 horizon)
频率无显式 freq token; 依赖 DRoPE (instance spectral features 128-d via FFT+LayerNorm)
缩放模型内部 log scale + per-sample 归一 (context 内计算)
缺失/掩码mask = isnan(context).logical_not(), 验证用 dense 无 NaN
数据确定性合成 (seed 42): randn[2,2048] + sin(2πt/96)*0.5, mean 0.0044 std 1.0546, preview batch0 last5 [1.01,-0.27,0.44,-0.37,0.096], SHA256 78e1beea
输出prediction_outputs float32 [B, Q=9, P=64] , 9分位数单调递增, median 为 q4=0.5, stats mean -0.196 std 0.808
dtypefloat32 (config "dtype": "float32")
预处理无外部 scaling; 模型内 FFT→s_feature→ParamNet→DRoPE

环境

  • Python 3.11.14, torch 2.9.0+cpu, torch_npu 2.9.0.post1+gitee7ba04, transformers 4.57.6, huggingface_hub 0.36.2, numpy 1.26.4, einops 0.8.1, jaxtyping 0.3.2
  • CANN 8.5.1, npu-smi 25.5.5, Ascend910_9362 ×2, 目标 npu:0
  • torch.npu.is_available()==True, device_count==2
  • HF_ENDPOINT=https://hf-mirror.com (国内镜像), 无手动 http_proxy 覆盖, 依赖环境变量直连
  • 加载: tsfm.model.kairos.AutoModel.register → AutoModel.from_pretrained(local_dir, trust_remote_code=True) → model.to("npu:0"), 输入 Tensor 显式 to(npu:0), FFT 补丁仅在 NPU 路径触发

安装

pip install -r requirements.txt
# requirements 已包含 tsfm 依赖 (einops/jaxtyping/matplotlib/pandas); tsfm 源码由 inference.py 自动 bootstrap (git clone Kairos 若本地无 tsfm)

NPU 推理

python inference.py

加载 working/kairos/model 或自动从 HF 镜像下载至 ./.cache/kairos-23m → npu:0 → warmup 3 → 同步计时 → 打印真实分位数预测。

关键日志(npu:0):

[INFO] model_name: mldi-lab/Kairos_23m
[INFO] task: probabilistic forecasting (quantiles) | backend: torch_npu | device: npu:0
[INFO] first param device before NPU move: cpu
[INFO] first param device after to(npu:0): npu:0
[INFO] input NPU device past:npu:0
[INFO] output summary: shape=(2, 9, 64) mean=-0.196054 std=0.808401
[INFO] median quantile idx 4 value 0.5 preview batch0 median first5: [0.2244,0.2475,0.2381,0.2283,0.1864]
[SUCCESS] NPU inference completed on npu:0 with Kairos_23m probabilistic forecasting

真实结果 (npu:0, ctx 2048, batch2, pred64, seed42)

  • input [2,2048] mean 0.0044 std 1.0546 SHA256 78e1beea, preview batch0 last5 [1.01,-0.27,0.44,-0.37,0.096]
  • output [2,9,64] device npu:0 dtype float32, mean -0.196054 std 0.808401 min -1.758 max 1.697
  • median (q=0.5) batch0 first5 [0.2244,0.2475,0.2381,0.2283,0.1864] | q=0.1 first5 [-0.988,-1.036,-1.092,-1.122,-1.153] | q=0.9 first5 [1.348,1.418,1.429,1.444,1.398]
  • quantile monotonic True min_diff 0.2189 (9分位数单调递增)
  • finite True shape_ok True fallback_detected False
  • weight 87.76 MB, 23M params, d_model 384, 4+4 layers, num_heads 8

一致性 (CPU vs NPU, 同权重/同输入/同dtype/同seed, float32, eval)

python .opencode/skills/npu-adapt-skills/scripts/compare_outputs.py --cpu working/kairos/cpu_output.npy --npu working/npu_output.npy --task regression --atol 1e-4 --rtol 1e-3
输出max_absmean_abspassed
forecast [2,9,64]8.67e-052.70e-05✅ (atol 1e-4)

阈值说明: FP32 默认 1e-4 对 23M Transformer+MoE+DRoPE 足够严格 (实测 max 8.6e-05); mean 2.7e-05 远低于阈值; 同权重同预处理同随机生成输入, torch.npu.synchronize() 后落盘 npy 直接比较; NPU 仅 FFT 的 abs 走 CPU (数值等价, 误差 source 仅 float32 累加顺序)。

性能 (npu:0, torch.npu.synchronize() 前后计时, 纯模型 forward)

  • Warmup 3, 测试 10, batch2 ctx2048 → out [2,9,64] (含 Mixture-of-Size 编码 + DRoPE + 4层编码+4层解码 + quantiles head)
  • 首轮 sync elapsed 66.05 ms (含编译)
  • avg 67.04 ms min 65.25 max 70.26 p50 66.98 p90 67.80 p95 69.03 (稳定阶段)
  • 吞吐 29.83 windows/s (batch 2 窗口), 14.92 batches/s
  • 显存 allocated 88.75 MB peak 104.79 MB (模型 87.76 MB + KV/激活)
  • 预处理 (合成数据生成) 不计入; 仅 model(past_target, prediction_length, generation=True) 同步计时

证据图 (xterm.js 真实日志)

agent workflow npu device call model result

由 scripts/render_xterm_evidence.mjs --style raw 根据本次真实日志生成,提示符 atomgit@pod-a94f8701860f4700b161b00e290de466:~$ 仅为展示标签,不证明服务器身份。

限制

  • 不含权重;首次运行自动从 HF 镜像拉取 (HF_ENDPOINT) 或使用 working/kairos/model。
  • 输入严格 [B, context] 二维, context 默认 2048 (最大 2048, 过长截断最后 2048), prediction_length 默认 64 (支持 64/96, 需与 config 一致)。
  • 仅验证合成数据 smoke 一致性, 非全量 GIFT-Eval benchmark。
  • 单一样本/双 batch 一致性, 非完整数据集精度评测。
  • FP32 only, BF16/FP16 未验证; Cannot create tensor with interal format warning 无害已保留; past_key_values Tuple 弃用 warning 来自 transformers 已忽略。
  • NPU 上 torch.fft.rfft → torch.abs(complex) 通过 CPU fallback 等价实现, 已记录并验证误差 <1e-4, 无静默 CPU fallback (仅该 FFT 算子, 其余均在 NPU)。

目录结构

submission/
├── inference.py
├── readme.md
├── requirements.txt
└── assets/
    ├── agent_workflow.png
    ├── npu_device_call.png
    └── model_result.png