sheepss/theforecastingcompany-t0-alpha-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

t0-alpha 昇腾 NPU 适配(theforecastingcompany/t0-alpha)

t0-alpha 是 The Forecasting Company 发布的开源权重概率时间序列预测基础模型:decoder 式 patch transformer,原生支持多变量与协变量,输出多 horizon 分位数预测。本仓库将其真实权重运行在单卡昇腾 NPU(Ascend 910, npu:0)上,完成 ETTh1 真实数据的一致性与性能验证,并提供自包含的 NPU 推理脚本。

模型规格

项目说明
来源https://huggingface.co/theforecastingcompany/t0-alpha
架构decoder-style patch transformer(24 层,2 时间注意力 + 1 组注意力循环)
参数量101.64M(fp32)
embed / ffn / heads512 / 2048 / 8
patch size32
原生分位数0.1 / 0.25 / 0.5 / 0.75 / 0.9(其他分位由推理期插值得到)
scalercausal mean/std + arcsinh
输出median (B,H)、quantiles (B,H,Q),float32,位于模型设备

权重获取说明(重要)

上游 HuggingFace 仓库为 gated 仓库(需登录同意条款),本环境无 HF 凭证。本适配使用的权重取自官方权重的无损 fp32 ONNX 导出镜像 Siddharth899/tsfm-onnx(t0-alpha-ctx512-h64.onnx,411MB,Apache-2.0,base_model: theforecastingcompany/t0-alpha):提取其全部 102 个权重矩阵与 201 个偏置/归一化张量,按官方 tfc-t0==0.3.0 的 T0Forecaster 结构逐层还原并转置回 PyTorch state_dict。已做双重数值验证:

  1. 还原模型(CPU)vs 官方 ONNX 导出:同一含 NaN 缺失值的输入下 quantiles max abs diff = 2.6e-6(fp32 舍入量级);
  2. 该验证通过后才进行 NPU 迁移,未替换模型、未随机初始化。

若你持有可访问 gated 仓库的凭证,可直接用 snapshot_download("theforecastingcompany/t0-alpha") 获取原始 safetensors 替换本地权重目录。

数据契约

  • 推理输入 context:形状 (B,T) 或 (T,),float32;NaN 表示缺失观测。
  • horizon >= 1;请求分位数须升序唯一且位于 (0,1);输出为有限 float32 张量,位于模型设备。
  • 本仓库默认演示使用经典 Box-Jenkins AirPassengers 月度序列(1949-1960,公有领域真实数据,内嵌于 inference.py):前 120 个月作上下文,预测最后 24 个月并与真实观测对比。
  • 验证数据集 ETTh1(公开基准,17420 行 × 8 列,目标列 OT,sha256 前 16 位 f18de3ad269cef59):8 个不重叠窗口,context=512,horizon=64。

环境与安装

pip install -r requirements.txt
# CANN + torch_npu 环境请参照昇腾官方文档安装并 source set_env.sh
export T0_WEIGHTS=/path/to/t0-alpha   # 含 config.json 与 model.safetensors 的目录

验证环境:Ubuntu 22.04 (aarch64) / Ascend 910(Atlas 800T A2,Ascend910_9362)×2 / CANN 8.5.1 / torch 2.9.0+cpu / torch_npu 2.9.0.post1 / tfc-t0 0.3.0。

NPU 推理

python inference.py

脚本自动解析权重($T0_WEIGHTS → ./t0-alpha → HF hub),将模型与输入显式迁移到 npu:0,调用 torch.npu.synchronize() 计时,输出分位数预测、与真实观测的指标,异常返回非零退出码。全程无 CPU fallback。

真实结果

AirPassengers 默认推理(npu:0):median MAE=44.06k,RMSE=53.22k,pinball(10/50/90)=14.21,90% 区间覆盖 42%;季节朴素基线 MAE=77.54k,相对提升 +43.2%;同步耗时 58.7ms(horizon=24)。

ETTh1 基准(8 窗口,ctx=512,hor=64,batch=8):

指标CPUNPU(npu:0)
MAE(median)1.58941.5894
pinball loss0.56770.5677

一致性

同权重、同输入、同预处理、同 dtype(fp32)、固定种子的 CPU/NPU 对比:

  • quantiles:max_abs_error = 1.62e-5,mean_abs_error = 2.60e-6(阈值 atol=1e-4 / rtol=1e-3,PASS)
  • median:max_abs = 9.06e-6
  • 分位数单调性(CPU/NPU):均满足

以上为 smoke consistency(8 窗口抽样一致性),非全数据集精度评测。

性能

batch=8,ctx=512,horizon=64,fp32,预热 3 次、正式计时 10 次(前后 torch.npu.synchronize()):

avgminmaxp50p90p95吞吐
59.7ms58.7ms61.0ms59.6ms59.8ms60.4ms134.1 series/s

峰值 NPU 显存 443MB;计时包含 predict() 内部全部预处理;首轮编译时间已通过预热与稳定推理分离。

证据图

以下图片均由 xterm.js 依据本次适配的真实 stdout/stderr 日志渲染(非手工绘制或截图工具模拟):

  • workflow 权重还原、CPU/ONNX 等价验证、ETTh1 数据检查、CPU 基线、NPU 推理、一致性 compare_outputs.py 校验与性能测试全流程;
  • device npu-smi info、torch_npu 可用性检查,以及模型参数 device/dtype 与输入输出 Tensor device(均为 npu:0);
  • result 默认命令 python inference.py 在 npu:0 的完整真实输出(24 个月预测明细、指标与 PASS 状态)。

限制

  • 上游仓库 gated;权重经官方 ONNX 导出无损还原(见上文说明与验证数据)。
  • 未来协变量路径未在当前 ONNX 导出中提供,本仓库验证单变量路径;多变量组注意力路径代码随包提供但未纳入本次验收。
  • 单样本/少窗口结果仅为 smoke consistency 与性能参考,生产使用请在自身业务回测上评估 CRPS/MASE 等指标。
  • 预测为概率估计而非保证;极端分布漂移场景需谨慎。

#NPU