23M 参数时序基础模型(动态分片 Mixture-of-Size 编码 + MoE + Instance-Wise DRoPE + 9 分位数自回归解码), 在华为 Ascend 910 (npu:0) + torch_npu 上完成真实推理链路闭环验证。
mldi-lab/Kairos_23m (HuggingFace)KairosModel(transformers 4.57.6 无原生模块,官方源码本地包加载)
past_target [batch, context_len](FP32 时序数据,context ≤ 2048)prediction_outputs [batch, 9, 64](9 个分位数:0.1~0.9)model.safetensors 92MB(float32 / 23M 参数)cpu_utilization.csv)cpu_util(float64), _time(int64, unix 秒, 60s 采样)4f34a2668aa75429bd5974c37a0ba752535fd4b522e045d7293c5c71ebb4b4a7context=512 点作为输入,预测未来 64 步的 9 个分位数inference.py 内嵌官方 tsfm/model/kairos 全部 9 个 .py 文件(base64),首次运行写入
.kairos_pkg/kairos_pkg/ 并从本地加载,无需未提交的本地模块。KairosModel.from_pretrained(weights) 直接加载(自动处理 tied embedding)。torch.abs:torch.fft.rfft 返回 complex,NPU 上 abs() 报
aclnnAbs ... DT_COMPLEX64。fft_process(DRoPE 的 FFT 频谱特征提取,纯确定性预处理)→
强制在 CPU 计算后 .to(device) 回传。核心 Transformer forward 仍在 npu:0 执行。jaxtyping + einops(官方 modeling 代码必需)。Ascend910_9362),npu:0torch.npu.is_available()=True,device_count=2pip install torch torch_npu transformers==4.57.6 safetensors numpy einops jaxtyping权重默认从本地 ./model(或 KAIROS_WEIGHTS_DIR)加载;缺失时自动从 HuggingFace 镜像下载。
# 使用内置 CPU 利用率数据集
python inference.py --input-csv cpu_utilization.csv
# 完整验证(CPU 基线 + NPU + 一致性 + 性能基准)
python inference.py --input-csv cpu_utilization.csv --bench| 指标 | 值 |
|---|---|
| 模型参数量 | 23,000,576 |
| 输入 | batch=1, context=512 |
| 输出 | (1, 9, 64) 分位数预测 |
| CPU 基线耗时 | ~65 ms |
| NPU 首轮(含编译) | ~570 ms |
| NPU 稳定平均 | ~60 ms (min 59.5, max 70.1, p50 60.1) |
| 一致性 cosine (CPU vs NPU) | 1.00000010 |
| max_abs_diff | 9.54e-06 |
CPU 与 NPU 使用同一权重、输入、预处理、dtype 与 seed;FFT 特征在 CPU 计算为确定性预处理, 输出逐元素一致(浮点舍入级)。
以下图片由 xterm.js 根据本次真实日志生成:
assets/agent_workflow.png — 数据检查 + NPU 推理 + 一致性 + 性能基准全流程assets/npu_device_call.png — npu-smi / NPU 可用性 / 模型参数 device=npu:0assets/model_result.png — 默认 python inference.py 真实输出abs,在 CPU 计算(确定性,无精度损失)。