t0-alpha 昇腾 NPU 适配(theforecastingcompany/t0-alpha)t0-alpha 是 The Forecasting Company 发布的开源权重概率时间序列预测基础模型:decoder 式 patch transformer,原生支持多变量与协变量,输出多 horizon 分位数预测。本仓库将其真实权重运行在单卡昇腾 NPU(Ascend 910, npu:0)上,完成 ETTh1 真实数据的一致性与性能验证,并提供自包含的 NPU 推理脚本。
| 项目 | 说明 |
|---|---|
| 来源 | https://huggingface.co/theforecastingcompany/t0-alpha |
| 架构 | decoder-style patch transformer(24 层,2 时间注意力 + 1 组注意力循环) |
| 参数量 | 101.64M(fp32) |
| embed / ffn / heads | 512 / 2048 / 8 |
| patch size | 32 |
| 原生分位数 | 0.1 / 0.25 / 0.5 / 0.75 / 0.9(其他分位由推理期插值得到) |
| scaler | causal mean/std + arcsinh |
| 输出 | median (B,H)、quantiles (B,H,Q),float32,位于模型设备 |
上游 HuggingFace 仓库为 gated 仓库(需登录同意条款),本环境无 HF 凭证。本适配使用的权重取自官方权重的无损 fp32 ONNX 导出镜像 Siddharth899/tsfm-onnx(t0-alpha-ctx512-h64.onnx,411MB,Apache-2.0,base_model: theforecastingcompany/t0-alpha):提取其全部 102 个权重矩阵与 201 个偏置/归一化张量,按官方 tfc-t0==0.3.0 的 T0Forecaster 结构逐层还原并转置回 PyTorch state_dict。已做双重数值验证:
若你持有可访问 gated 仓库的凭证,可直接用 snapshot_download("theforecastingcompany/t0-alpha") 获取原始 safetensors 替换本地权重目录。
context:形状 (B,T) 或 (T,),float32;NaN 表示缺失观测。horizon >= 1;请求分位数须升序唯一且位于 (0,1);输出为有限 float32 张量,位于模型设备。inference.py):前 120 个月作上下文,预测最后 24 个月并与真实观测对比。OT,sha256 前 16 位 f18de3ad269cef59):8 个不重叠窗口,context=512,horizon=64。pip install -r requirements.txt
# CANN + torch_npu 环境请参照昇腾官方文档安装并 source set_env.sh
export T0_WEIGHTS=/path/to/t0-alpha # 含 config.json 与 model.safetensors 的目录验证环境:Ubuntu 22.04 (aarch64) / Ascend 910(Atlas 800T A2,Ascend910_9362)×2 / CANN 8.5.1 / torch 2.9.0+cpu / torch_npu 2.9.0.post1 / tfc-t0 0.3.0。
python inference.py脚本自动解析权重($T0_WEIGHTS → ./t0-alpha → HF hub),将模型与输入显式迁移到 npu:0,调用 torch.npu.synchronize() 计时,输出分位数预测、与真实观测的指标,异常返回非零退出码。全程无 CPU fallback。
AirPassengers 默认推理(npu:0):median MAE=44.06k,RMSE=53.22k,pinball(10/50/90)=14.21,90% 区间覆盖 42%;季节朴素基线 MAE=77.54k,相对提升 +43.2%;同步耗时 58.7ms(horizon=24)。
ETTh1 基准(8 窗口,ctx=512,hor=64,batch=8):
| 指标 | CPU | NPU(npu:0) |
|---|---|---|
| MAE(median) | 1.5894 | 1.5894 |
| pinball loss | 0.5677 | 0.5677 |
同权重、同输入、同预处理、同 dtype(fp32)、固定种子的 CPU/NPU 对比:
以上为 smoke consistency(8 窗口抽样一致性),非全数据集精度评测。
batch=8,ctx=512,horizon=64,fp32,预热 3 次、正式计时 10 次(前后 torch.npu.synchronize()):
| avg | min | max | p50 | p90 | p95 | 吞吐 |
|---|---|---|---|---|---|---|
| 59.7ms | 58.7ms | 61.0ms | 59.6ms | 59.8ms | 60.4ms | 134.1 series/s |
峰值 NPU 显存 443MB;计时包含 predict() 内部全部预处理;首轮编译时间已通过预热与稳定推理分离。
以下图片均由 xterm.js 依据本次适配的真实 stdout/stderr 日志渲染(非手工绘制或截图工具模拟):
权重还原、CPU/ONNX 等价验证、ETTh1 数据检查、CPU 基线、NPU 推理、一致性 compare_outputs.py 校验与性能测试全流程;
npu-smi info、torch_npu 可用性检查,以及模型参数 device/dtype 与输入输出 Tensor device(均为 npu:0);
默认命令 python inference.py 在 npu:0 的完整真实输出(24 个月预测明细、指标与 PASS 状态)。#NPU