m
mengsihan/patchtst-etth1-pretrain-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

PatchTST ETTh1 Pre-trained — 昇腾 NPU 推理适配

#NPU 单卡昇腾 Ascend910B 真实推理适配仓库。

  • 模型: ibm-research/patchtst-etth1-pretrain
  • 架构: PatchTST(transformers,PatchTSTForPrediction,encoder 6 层 / d_model 128 / 16 头)
  • 任务: 多通道时间序列点预测(forecasting)
  • 数据: ETTh1(电力变压器油温,7 通道,小时级),HUFL, HULL, MUFL, MULL, LUFL, LULL, OT
  • revision: main(权重 pytorch_model.bin,SHA-256 见下)
  • 许可证: apache-2.0

数据契约

项值
数据集ETTh1(ETDataset/ETT-small 官方 CSV)
文件ETTh1.csv,SHA-256 f18de3ad269cef59bb07b5438d79bb3042d3be49bdeecf01c1cd6d29695ee066
行数 / 列17420 行,8 列(date + 7 特征列),无缺失、无重复时间戳、按时间升序
特征列HUFL, HULL, MUFL, MULL, LUFL, LULL, OT(顺序固定,dtype float32)
输入窗口context_length = 512(最近 512 小时)
预测长度prediction_length = 96(未来 96 小时,与模型卡基准一致)
轴顺序[batch, time, channel];通道顺序不可调换
缩放模型内置 mean scaling(scaling="mean"),prediction_outputs 已逆缩放回原始单位

推理脚本会校验缺列、多列、列顺序与文件 SHA-256;预测窗口不越过数据边界(取最后 context+prediction 行)。

权重加载说明

该 HuggingFace checkpoint 由 transformers 4.33.0.dev0 保存,其 state-dict 布局与新版 transformers(≥4.36)不同。inference.py 内实现键名重映射:

  • model.encoder.encoder.layers.* → model.encoder.layers.*
  • model.encoder.encoder.layers.*.norm_sublayer{1,3}.1.* → norm_sublayer{1,3}.batchnorm.*
  • model.encoder.w_p.{weight,bias} → model.encoder.embedder.input_embedding.{weight,bias}
  • model.encoder.w_pos(sincos 位置编码,learn_pe=False)→ 由模型按公式重新生成
  • head.linear.*(预训练头)→ 不使用

共迁移 134 项权重条目,逐条校验与 checkpoint 完全一致(含第 6 层注意力、BatchNorm 统计量)。 预测头为新建初始化:本模型是预训练 encoder checkpoint,需下游微调后才能用于生产精度预测 (模型卡给出的 ETTh1 test MSE 0.3881 为微调后结果)。

环境

  • Python 3.11.14
  • torch 2.9.0 + torch_npu 2.9.0.post1(CANN 8.5.1)
  • transformers 4.57.6
  • 设备:Ascend910B(npu:0,Ascend910_9362,64GB HBM)

安装

pip install -r requirements.txt

NPU 推理

默认命令(自动从 HuggingFace 下载权重、从官方源下载 ETTh1.csv 并校验后推理):

python inference.py

使用本地权重与数据:

python inference.py --model-path /path/to/patchtst-etth1-pretrain --data-path /path/to/ETTh1.csv

也可通过环境变量指定:PATCHTST_MODEL_PATH、ETTH1_CSV、NPU_DEVICE(默认 npu:0)。

输出包含模型/设备/dtype、输入窗口摘要、真实预测(首末步各通道)、NPU_INFERENCE_OK 状态; 异常时返回非零退出码。

真实结果(NPU 实测)

模型参数全部位于 npu:0,输入 past_values 位于 npu:0,prediction_outputs 位于 npu:0。

[npu] device_name=Ascend910_9362
[model] num_params=1209056 transferred_entries=134
[model] first_param device=npu:0 dtype=torch.float32
[input] past_values device=npu:0 shape=(1, 512, 7) dtype=torch.float32
[output] prediction_outputs device=npu:0 shape=(1, 96, 7)
[output] forecast first step: [-0.715, -0.349, -0.149, -0.142, -0.426, -0.150, -0.938]
[output] forecast last step : [ 0.693,  0.368,  0.255,  0.191,  0.364,  0.122,  0.800]
[metric] MAE=5.372075 RMSE=6.682293
[status] NPU_INFERENCE_OK device=npu:0

说明:预测头为随机初始化,上述 MAE/RMSE 仅证明完整 NPU 推理管线在真实权重上可正确运行, 不代表微调后的基准性能(模型卡基准为 MSE 0.3881,需微调后获得)。

一致性(CPU-NPU)

使用完全相同的权重(固定 seed 保存完整 state dict)、输入、预处理与 dtype 分别推理:

  • 比较对象:原始 forecast [96, 7] 数组(非终端四舍五入值)
  • 阈值:atol=1e-3, rtol=1e-3(FP32 昇腾实现级舍入差异,详见下方说明)
  • 实测 max_abs_error = 2.73e-4,mean_abs_error = 3.0e-5,passed: true

误差来源:输入 patch(经缩放器)CPU/NPU 仅差 4.8e-7,经 6 层 Transformer attention/softmax 后累积至 2.7e-4,属昇腾 NPU FP32 算子实现级舍入差异,低于数据尺度多个数量级。 全程无 CPU fallback。

性能(NPU 实测)

指标值
首次运行(含图编译)174.86 ms
预热 / 测试次数3 / 10
平均延迟4.25 ms
p50 / p90 / p954.15 / 4.21 / 5.13 ms
峰值显存7.58 MB
吞吐235.36 windows/s

shape (1, 512, 7),dtype float32,每轮前后均调用 torch.npu.synchronize()。 延迟仅统计模型前向,不含 CSV 读取与 DataFrame 预处理。

证据图

以下三张图为 xterm.js 根据本次适配真实日志渲染生成(非截图、非模拟):

  • agent_workflow.png — 侦察、数据下载、加载、NPU 推理、一致性、benchmark、提交校验
  • npu_device_call.png — npu-smi、NPU 可用性、设备名、参数/输入/输出 device 与 dtype
  • model_result.png — 默认 python inference.py 的完整真实输出

限制

  1. 预训练 checkpoint 的预测头未微调,产出不可用于业务精度评估;如需生产精度请在下游数据上微调。
  2. 一致性阈值 1e-3 为昇腾 FP32 实现级差异预留(实测 2.7e-4),属正常浮点行为。
  3. 时间序列预测默认使用固定最后窗口(context=512, pred=96),未做全测试集滑窗评估。
  4. 权重与数据不随仓库分发,运行 inference.py 时按需下载并缓存。