#NPU 单卡昇腾 Ascend910B 真实推理适配仓库。
PatchTSTForPrediction,encoder 6 层 / d_model 128 / 16 头)HUFL, HULL, MUFL, MULL, LUFL, LULL, OTmain(权重 pytorch_model.bin,SHA-256 见下)| 项 | 值 |
|---|---|
| 数据集 | ETTh1(ETDataset/ETT-small 官方 CSV) |
| 文件 | ETTh1.csv,SHA-256 f18de3ad269cef59bb07b5438d79bb3042d3be49bdeecf01c1cd6d29695ee066 |
| 行数 / 列 | 17420 行,8 列(date + 7 特征列),无缺失、无重复时间戳、按时间升序 |
| 特征列 | HUFL, HULL, MUFL, MULL, LUFL, LULL, OT(顺序固定,dtype float32) |
| 输入窗口 | context_length = 512(最近 512 小时) |
| 预测长度 | prediction_length = 96(未来 96 小时,与模型卡基准一致) |
| 轴顺序 | [batch, time, channel];通道顺序不可调换 |
| 缩放 | 模型内置 mean scaling(scaling="mean"),prediction_outputs 已逆缩放回原始单位 |
推理脚本会校验缺列、多列、列顺序与文件 SHA-256;预测窗口不越过数据边界(取最后 context+prediction 行)。
该 HuggingFace checkpoint 由 transformers 4.33.0.dev0 保存,其 state-dict 布局与新版
transformers(≥4.36)不同。inference.py 内实现键名重映射:
model.encoder.encoder.layers.* → model.encoder.layers.*model.encoder.encoder.layers.*.norm_sublayer{1,3}.1.* → norm_sublayer{1,3}.batchnorm.*model.encoder.w_p.{weight,bias} → model.encoder.embedder.input_embedding.{weight,bias}model.encoder.w_pos(sincos 位置编码,learn_pe=False)→ 由模型按公式重新生成head.linear.*(预训练头)→ 不使用共迁移 134 项权重条目,逐条校验与 checkpoint 完全一致(含第 6 层注意力、BatchNorm 统计量)。 预测头为新建初始化:本模型是预训练 encoder checkpoint,需下游微调后才能用于生产精度预测 (模型卡给出的 ETTh1 test MSE 0.3881 为微调后结果)。
npu:0,Ascend910_9362,64GB HBM)pip install -r requirements.txt默认命令(自动从 HuggingFace 下载权重、从官方源下载 ETTh1.csv 并校验后推理):
python inference.py使用本地权重与数据:
python inference.py --model-path /path/to/patchtst-etth1-pretrain --data-path /path/to/ETTh1.csv也可通过环境变量指定:PATCHTST_MODEL_PATH、ETTH1_CSV、NPU_DEVICE(默认 npu:0)。
输出包含模型/设备/dtype、输入窗口摘要、真实预测(首末步各通道)、NPU_INFERENCE_OK 状态;
异常时返回非零退出码。
模型参数全部位于 npu:0,输入 past_values 位于 npu:0,prediction_outputs 位于 npu:0。
[npu] device_name=Ascend910_9362
[model] num_params=1209056 transferred_entries=134
[model] first_param device=npu:0 dtype=torch.float32
[input] past_values device=npu:0 shape=(1, 512, 7) dtype=torch.float32
[output] prediction_outputs device=npu:0 shape=(1, 96, 7)
[output] forecast first step: [-0.715, -0.349, -0.149, -0.142, -0.426, -0.150, -0.938]
[output] forecast last step : [ 0.693, 0.368, 0.255, 0.191, 0.364, 0.122, 0.800]
[metric] MAE=5.372075 RMSE=6.682293
[status] NPU_INFERENCE_OK device=npu:0说明:预测头为随机初始化,上述 MAE/RMSE 仅证明完整 NPU 推理管线在真实权重上可正确运行, 不代表微调后的基准性能(模型卡基准为 MSE 0.3881,需微调后获得)。
使用完全相同的权重(固定 seed 保存完整 state dict)、输入、预处理与 dtype 分别推理:
forecast [96, 7] 数组(非终端四舍五入值)atol=1e-3, rtol=1e-3(FP32 昇腾实现级舍入差异,详见下方说明)max_abs_error = 2.73e-4,mean_abs_error = 3.0e-5,passed: true误差来源:输入 patch(经缩放器)CPU/NPU 仅差 4.8e-7,经 6 层 Transformer attention/softmax 后累积至 2.7e-4,属昇腾 NPU FP32 算子实现级舍入差异,低于数据尺度多个数量级。 全程无 CPU fallback。
| 指标 | 值 |
|---|---|
| 首次运行(含图编译) | 174.86 ms |
| 预热 / 测试次数 | 3 / 10 |
| 平均延迟 | 4.25 ms |
| p50 / p90 / p95 | 4.15 / 4.21 / 5.13 ms |
| 峰值显存 | 7.58 MB |
| 吞吐 | 235.36 windows/s |
shape (1, 512, 7),dtype float32,每轮前后均调用 torch.npu.synchronize()。
延迟仅统计模型前向,不含 CSV 读取与 DataFrame 预处理。
以下三张图为 xterm.js 根据本次适配真实日志渲染生成(非截图、非模拟):
npu-smi、NPU 可用性、设备名、参数/输入/输出 device 与 dtypepython inference.py 的完整真实输出1e-3 为昇腾 FP32 实现级差异预留(实测 2.7e-4),属正常浮点行为。context=512, pred=96),未做全测试集滑窗评估。inference.py 时按需下载并缓存。