m
mengsihan/ibm-granite-granite-timeseries-flowstate-r1-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

ibm-granite/granite-timeseries-flowstate-r1 — NPU 适配

#NPU

本仓库将 IBM Granite 时间序列基础模型 ibm-granite/granite-timeseries-flowstate-r1(FlowState,Apache-2.0)适配为可在单张昇腾 Ascend 910 NPU(npu:0)上真实运行的概率预测模型仓。

  • 模型:ibm-granite/granite-timeseries-flowstate-r1,revision 05effc6cb39ee16dce9dd0064ed1a76e4b8ff464(FlowState v1.0)
  • 任务:时间序列概率预测(9 个分位点 [0.1 … 0.9],quantile)
  • 架构:FlowState(SSM 编码器 + Functional Basis Decoder,FBD),参数量 9.07M
  • 后端:PyTorch 2.9.0 + torch_npu 2.9.0.post1 + CANN 8.5.1
  • 设备:单卡 npu:0(Ascend910_9362)

inference.py 为自包含脚本,内嵌 FlowState 模型实现(Apache-2.0,来自 granite-tsfm)。默认运行时会从 HuggingFace 拉取真实权重 model.safetensors(约 36 MB)与 ETTh1 真实数据集,在 NPU 上完成推理并输出预测结果。

数据契约

项目内容
数据集ETTh1(ETT-small 电力变压器温度,小时级)
来源hf-internal-testing/etth1-hourly-batch(HuggingFace 数据集),文件 train-batch.pt
样本past_values:(64, 512, 7),future_values:(64, 96, 7),float32
SHA-256c7337fb826b34858e9338b5f3b8807aeeaecf7dd83f19aef9cda28c571af1a69
使用通道通道 0(单变量),默认 8 条序列(--samples)
上下文长度512(模型支持 2048,短于 context 时取尾部窗口)
预测长度96(--prediction-length)
缩放因子1.0(小时级采样率;--scale-factor 可调)
输出(samples, 9, prediction_length, 1):batch × quantiles × horizon × channels,9 个分位点对应 [0.1,0.2,…,0.9],索引 4 为中位数

FlowState 目前仅支持单变量预测,因此只取通道 0 构造输入;输入需为 [batch, time, channel],batch_first=True。

环境

  • 操作系统:Linux aarch64(HCE 2.0)
  • 昇腾 NPU:Ascend 910(Ascend910_9362),单卡 npu:0
  • 软件栈:CANN 8.5.1、Python 3.11、torch 2.9.0、torch_npu 2.9.0.post1
  • 其余依赖见 requirements.txt

安装

pip install -r requirements.txt

说明:inference.py 已内嵌模型定义,无需安装 granite-tsfm 库;仅需要 PyTorch、torch_npu、transformers、numpy、huggingface_hub。

NPU 推理

python inference.py

可选参数:

python inference.py --model-dir /path/to/local/model --data-file /path/to/train-batch.pt \
    --prediction-length 96 --scale-factor 1.0 --samples 8 --channel 0
  • --model-dir:本地模型快照目录;缺省从 HuggingFace 拉取
  • --data-file:本地 ETTh1 train-batch.pt;缺省从 HuggingFace 下载
  • 非零退出码表示失败

真实结果(NPU)

默认 python inference.py 在 npu:0 上的真实输出(ETTh1 通道 0,8 条序列,context=512,horizon=96,scale_factor=1.0):

[env] NPU available: True, device name: Ascend910_9362
[env] parameters total=9069312 on_cpu=0
[env] first param device=npu:0 dtype=torch.float32
[data] past_values shape=(64, 512, 7) future_values shape=(64, 96, 7)
[infer] output shape=(8, 9, 96, 1) dtype=torch.float32 device=npu:0 finite=True
[metric] median MAE=0.5626 RMSE=0.8938
[metric] q10-q90 coverage=0.6641
STATUS: NPU_INFERENCE_SUCCESS
  • 预测张量 (8, 9, 96, 1),全部为有限值,设备 npu:0,dtype float32
  • 所有参数均在 NPU 上(on_cpu=0)
  • 中位数分位点(q0.5)相对真实未来的 MAE=0.5626、RMSE=0.8938;q10–q90 区间覆盖率 66.4%(单窗口零样本评测,非完整 benchmark 排名)

CPU-NPU 一致性

使用完全相同的权重、输入、预处理、dtype 与随机种子,分别保存 CPU 与 NPU 原始输出进行比较:

指标值
比较对象原始 9 分位点预测张量 (8,9,96,1)
最大绝对误差3.76e-05
平均绝对误差7.15e-06
np.allclose(atol=1e-4, rtol=1e-3)通过
分位点单调性(分位点轴)CPU 100% / NPU 100%
中位数在 [q10, q90] 内100%

FP32 阈值 atol=1e-4, rtol=1e-3,输出尺度为 [-3.4, 0.87]。分位点单调性按正确的分位点维度(axis=1)检查。

性能(NPU,npu:0)

指标值
batch / context / horizon / channels8 / 512 / 96 / 1
dtypefloat32
首次运行(含编译)2.21 s
稳定阶段 avg / min / max1.894 / 1.882 / 1.914 s
p50 / p90 / p951.891 / 1.906 / 1.910 s
峰值显存0.358 GB
吞吐0.528 windows/s

测试方式:预热 3 次、正式测试 10 次,每次前后 torch.npu.synchronize();不含数据读取与预处理。

证据图

以下三张图片由 xterm.js 依据本次真实运行日志渲染生成(非手工绘制、非模拟截图):

图片内容
agent_workflow完整适配工作流:侦察、数据检查、下载、加载、NPU 推理、一致性、benchmark、校验
npu_device_callnpu-smi、NPU 可用性、设备名、模型参数/输入/输出 Tensor device
model_result默认 python inference.py 的真实完整输出

限制

  • FlowState 仅支持单变量零样本预测;多通道需逐通道调用。
  • 输入序列需大于等于模型可用的最小上下文;短序列自动取尾部窗口。
  • 分位点输出基于预训练权重的零样本能力,本文结果为单窗口评测,不代表 GIFT-Eval 完整榜单排名。
  • 首次运行需联网拉取权重与数据集;可传 --model-dir / --data-file 使用本地副本。