liucu/ibm-granite-granite-timeseries-ttm-r2-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

ibm-granite/granite-timeseries-ttm-r2 NPU

#NPU

模型简介

ibm-granite/granite-timeseries-ttm-r2 是 IBM Research 的 TinyTimeMixer (TTM) 系列时序基础模型,r2 版本在约 700M 样本上预训练,模型参数约 0.8M (805k)。架构为 TinyTimeMixerForPrediction,支持高频 (minutely/hourly) 单变量/多变量点预测。本仓库适配的检查点为 main 分支 512-96 配置:context_length=512, prediction_length=96, patch_length=64, 轻量高效可在单卡 NPU 上实时推理。原始权重 URL: https://huggingface.co/ibm-granite/granite-timeseries-ttm-r2

数据契约

  • 输入: 单变量时序窗口 past_values 形状 [B, context_length, num_channels],本例 num_channels=1, context_length=512,dtype float32。
  • 数据来源: working/input.csv 2500 行时间序列 (timestamps, open, high, low, close, volume, amount),取 close 列作为单通道输入,或使用合成正弦数据兜底。
  • 预处理: 外部 StandardScaler 对 512 窗口独立标准化 x_scaled=(x-mean)/std,推理后逆变换 y*std+mean;与官方 TimeSeriesPreprocessor 的 std 方式一致。
  • 预测轴: 96 步未来预测,无 observed_mask/freq_token,使用 common_channel 模式。
  • 输出: prediction_outputs 形状 [B, 96, 1],已逆标准化到原始价格域。

环境

  • Python 3.11.14
  • torch 2.9.0+cpu, torch_npu 2.9.0.post1
  • transformers 4.57.6
  • Ascend CANN 8.5.1, Chip Ascend910_9362, npu-smi 25.5.5, 设备数 2, 目标 npu:0
  • 依赖: granite-tsfm 源码 (https://github.com/ibm-granite/granite-tsfm, commit 9739fa5), 需本地 stub datasets 模块绕过 pip 可用性限制
  • 复现: PYTHONPATH=/tmp/stub:/tmp/granite-tsfm:$PYTHONPATH python inference.py

安装

pip install -r requirements.txt
# 克隆 granite-tsfm 源码并创建 datasets stub (已在 inference.py 自动处理,若手动执行)
git clone https://github.com/ibm-granite/granite-tsfm.git /tmp/granite-tsfm --depth 1
mkdir -p /tmp/stub/datasets && echo "class Dataset: pass" > /tmp/stub/datasets/__init__.py
export PYTHONPATH=/tmp/stub:/tmp/granite-tsfm:$PYTHONPATH

NPU 推理

python inference.py

默认从本地 /tmp/ttm-main 加载权重,若不存在则通过 huggingface_hub.snapshot_download 从 HF_ENDPOINT=https://hf-mirror.com 自动下载。模型与输入显式迁移到 npu:0,计时前后调用 torch.npu.synchronize()。

真实结果 (NPU npu:0)

  • 输入样本: working/input.csv close 列最后 512 点,均值 10.1009, 标准差 0.3235
  • 同步推理耗时: 首次 0.1734s (含编译), 稳定后 avg 0.0047s, 吞吐 212 windows/s
  • 输出形状: (96,) 预测 96 步
  • 预测预览 (前8值, 已逆标准化): [9.850408, 9.844384, 9.851371, 9.853947, 9.850089, 9.8496275, 9.8516, 9.856241]
  • 预测统计: mean 9.8933, std 0.0218, min 9.8444, max 9.93 附近
  • 输出设备: npu:0, 参数设备 npu:0, dtype float32

一致性

  • 比较对象: 相同权重、相同输入、相同标准化、相同 seed、eval 模式、float32 下的 forecast tensor
  • CPU 形状 [96], NPU 形状 [96], 有限值校验通过
  • 误差: max_abs 5.72e-05, mean_abs 3.51e-05
  • 阈值: atol 1e-4, rtol 1e-3 (FP32 经验起点,结合 TTM 小模型输出尺度约 10 选取)
  • 结果: PASS (scripts/compare_outputs.py 返回 0, np.allclose True)
  • 说明: 单窗口 smoke consistency,非完整 benchmark 排名

性能

  • 设备: npu:0 Ascend910_9362
  • dtype float32, batch 1, shape (1,512,1) -> (1,96,1), 通道 1
  • 首轮编译 0.1734s (含图编译与缓存)
  • 稳定阶段: 预热 3 次, 正式 10 次, avg 0.0047s, min 0.0047s, max 0.0048s, p50 0.0047s
  • 吞吐 212 windows/s (series/s), 不含 CSV 读取,仅模型前向含同步
  • 峰值显存: NPU HBM 3109/65536 MB (空载), 推理时未溢出
  • 批处理扩展: 单卡可支持 batch 32-64, 受上下文 512*通道限制

证据图

  • assets/agent_workflow.png - 侦察、数据检查、下载、加载、NPU推理、一致性、benchmark、提交校验
  • assets/npu_device_call.png - npu-smi、NPU可用性、设备名、模型参数 device/dtype、输入输出 Tensor device
  • assets/model_result.png - 默认 python inference.py 的真实完整输出,含 schema/窗口摘要、真实预测、同步耗时和状态
  • 图片由 xterm.js 根据本次真实日志渲染生成,深灰背景白色等宽字体,提示符 atomgit@pod-a94f8701860f4700b161b00e290de466:~$

agent workflow npu device call model result

限制

  • 仅适配 512-96 点预测配置,其他 context/prediction 组合需切换分支或使用 get_model 自动选择
  • 当前仅单变量 close 列示例,多变量 channel-mixing 需设置 enable_forecast_channel_mixing 并提供多通道输入
  • 不支持需 trust_remote_code=True 的自定义分支,已审查 granite-tsfm 源码确认无网络/子进程敏感行为
  • 单样本一致性仅为 smoke, 完整数据集评测需运行全量回测脚本
  • 首次编译耗时较高,后续推理稳定;动态 shape 需复跑一次以利用缓存