w
gcw_uQ09W7jl/mldi-lab-kairos-23m-npu
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

mldi-lab/Kairos_23m NPU 适配 — 时序零样本预测 #NPU

23M 参数时序基础模型(动态分片 Mixture-of-Size 编码 + MoE + Instance-Wise DRoPE + 9 分位数自回归解码), 在华为 Ascend 910 (npu:0) + torch_npu 上完成真实推理链路闭环验证。

1. 模型简介

  • 原始模型: mldi-lab/Kairos_23m (HuggingFace)
  • 架构: KairosModel(transformers 4.57.6 无原生模块,官方源码本地包加载)
    • Encoder: 4 层 T5-like(d_model=384 / 8 heads / d_ff=1536),Mixture-of-Size 动态分片编码(3 级 patch,MoE 3/3 activated experts)
    • DRoPE: Instance-Wise Rotary Embedding(FFT 频谱特征驱动实例级 RoPE)
    • Decoder: 4 层 T5-like(2 segments),自回归生成 9 分位数
  • 任务: 时序零样本预测(输入 context 序列 → 输出 9 分位数 × 64 步预测)
  • 输入: past_target [batch, context_len](FP32 时序数据,context ≤ 2048)
  • 输出: prediction_outputs [batch, 9, 64](9 个分位数:0.1~0.9)
  • 权重: model.safetensors 92MB(float32 / 23M 参数)
  • License: Apache-2.0

2. 数据契约

  • 来源: 公开 CPU 利用率分钟级时序数据(cpu_utilization.csv)
  • schema: cpu_util(float64), _time(int64, unix 秒, 60s 采样)
  • 规模: 35328 行;时间有序、无缺失、无重复时间戳
  • SHA-256: 4f34a2668aa75429bd5974c37a0ba752535fd4b522e045d7293c5c71ebb4b4a7
  • 用法: 取最后 context=512 点作为输入,预测未来 64 步的 9 个分位数
  • 输入校验:缺失值/NaN 由模型 mask 处理;列顺序不改变

3. 适配方案

3.1 模型结构(官方 modeling 本地包,base64 内嵌自包含)

  • inference.py 内嵌官方 tsfm/model/kairos 全部 9 个 .py 文件(base64),首次运行写入 .kairos_pkg/kairos_pkg/ 并从本地加载,无需未提交的本地模块。
  • KairosModel.from_pretrained(weights) 直接加载(自动处理 tied embedding)。

3.2 NPU 适配要点

  • ⚠️ NPU 不支持 complex64 的 torch.abs:torch.fft.rfft 返回 complex,NPU 上 abs() 报 aclnnAbs ... DT_COMPLEX64。
  • 解法: monkey-patch fft_process(DRoPE 的 FFT 频谱特征提取,纯确定性预处理)→ 强制在 CPU 计算后 .to(device) 回传。核心 Transformer forward 仍在 npu:0 执行。
  • 依赖 jaxtyping + einops(官方 modeling 代码必需)。

4. 环境

  • 硬件: 华为 Ascend 910 (Ascend910_9362),npu:0
  • 软件: torch 2.9.0 + torch_npu + CANN 8.5.1,Python 3.11
  • NPU 可用性: torch.npu.is_available()=True,device_count=2

5. 安装

pip install torch torch_npu transformers==4.57.6 safetensors numpy einops jaxtyping

权重默认从本地 ./model(或 KAIROS_WEIGHTS_DIR)加载;缺失时自动从 HuggingFace 镜像下载。

6. NPU 推理

# 使用内置 CPU 利用率数据集
python inference.py --input-csv cpu_utilization.csv

# 完整验证(CPU 基线 + NPU + 一致性 + 性能基准)
python inference.py --input-csv cpu_utilization.csv --bench

7. 真实结果

指标值
模型参数量23,000,576
输入batch=1, context=512
输出(1, 9, 64) 分位数预测
CPU 基线耗时~65 ms
NPU 首轮(含编译)~570 ms
NPU 稳定平均~60 ms (min 59.5, max 70.1, p50 60.1)
一致性 cosine (CPU vs NPU)1.00000010
max_abs_diff9.54e-06

CPU 与 NPU 使用同一权重、输入、预处理、dtype 与 seed;FFT 特征在 CPU 计算为确定性预处理, 输出逐元素一致(浮点舍入级)。

8. 证据图

以下图片由 xterm.js 根据本次真实日志生成:

  • assets/agent_workflow.png — 数据检查 + NPU 推理 + 一致性 + 性能基准全流程
  • assets/npu_device_call.png — npu-smi / NPU 可用性 / 模型参数 device=npu:0
  • assets/model_result.png — 默认 python inference.py 真实输出

9. 限制

  • FFT 频谱特征因 NPU 不支持 complex64 abs,在 CPU 计算(确定性,无精度损失)。
  • 权重文件(~92MB)与官方 modeling 源码不随模型仓提交,由脚本按需从本地/镜像获取。
  • context 长度 ≤ 2048(模型配置上限)。