#NPU
本仓库将 IBM Granite 时间序列基础模型 ibm-granite/granite-timeseries-flowstate-r1(FlowState,Apache-2.0)适配为可在单张昇腾 Ascend 910 NPU(npu:0)上真实运行的概率预测模型仓。
ibm-granite/granite-timeseries-flowstate-r1,revision 05effc6cb39ee16dce9dd0064ed1a76e4b8ff464(FlowState v1.0)[0.1 … 0.9],quantile)npu:0(Ascend910_9362)inference.py 为自包含脚本,内嵌 FlowState 模型实现(Apache-2.0,来自 granite-tsfm)。默认运行时会从 HuggingFace 拉取真实权重 model.safetensors(约 36 MB)与 ETTh1 真实数据集,在 NPU 上完成推理并输出预测结果。
| 项目 | 内容 |
|---|---|
| 数据集 | ETTh1(ETT-small 电力变压器温度,小时级) |
| 来源 | hf-internal-testing/etth1-hourly-batch(HuggingFace 数据集),文件 train-batch.pt |
| 样本 | past_values:(64, 512, 7),future_values:(64, 96, 7),float32 |
| SHA-256 | c7337fb826b34858e9338b5f3b8807aeeaecf7dd83f19aef9cda28c571af1a69 |
| 使用通道 | 通道 0(单变量),默认 8 条序列(--samples) |
| 上下文长度 | 512(模型支持 2048,短于 context 时取尾部窗口) |
| 预测长度 | 96(--prediction-length) |
| 缩放因子 | 1.0(小时级采样率;--scale-factor 可调) |
| 输出 | (samples, 9, prediction_length, 1):batch × quantiles × horizon × channels,9 个分位点对应 [0.1,0.2,…,0.9],索引 4 为中位数 |
FlowState 目前仅支持单变量预测,因此只取通道 0 构造输入;输入需为 [batch, time, channel],batch_first=True。
Ascend910_9362),单卡 npu:0requirements.txtpip install -r requirements.txt说明:
inference.py已内嵌模型定义,无需安装 granite-tsfm 库;仅需要 PyTorch、torch_npu、transformers、numpy、huggingface_hub。
python inference.py可选参数:
python inference.py --model-dir /path/to/local/model --data-file /path/to/train-batch.pt \
--prediction-length 96 --scale-factor 1.0 --samples 8 --channel 0--model-dir:本地模型快照目录;缺省从 HuggingFace 拉取--data-file:本地 ETTh1 train-batch.pt;缺省从 HuggingFace 下载默认 python inference.py 在 npu:0 上的真实输出(ETTh1 通道 0,8 条序列,context=512,horizon=96,scale_factor=1.0):
[env] NPU available: True, device name: Ascend910_9362
[env] parameters total=9069312 on_cpu=0
[env] first param device=npu:0 dtype=torch.float32
[data] past_values shape=(64, 512, 7) future_values shape=(64, 96, 7)
[infer] output shape=(8, 9, 96, 1) dtype=torch.float32 device=npu:0 finite=True
[metric] median MAE=0.5626 RMSE=0.8938
[metric] q10-q90 coverage=0.6641
STATUS: NPU_INFERENCE_SUCCESS(8, 9, 96, 1),全部为有限值,设备 npu:0,dtype float32on_cpu=0)使用完全相同的权重、输入、预处理、dtype 与随机种子,分别保存 CPU 与 NPU 原始输出进行比较:
| 指标 | 值 |
|---|---|
| 比较对象 | 原始 9 分位点预测张量 (8,9,96,1) |
| 最大绝对误差 | 3.76e-05 |
| 平均绝对误差 | 7.15e-06 |
np.allclose(atol=1e-4, rtol=1e-3) | 通过 |
| 分位点单调性(分位点轴) | CPU 100% / NPU 100% |
| 中位数在 [q10, q90] 内 | 100% |
FP32 阈值 atol=1e-4, rtol=1e-3,输出尺度为 [-3.4, 0.87]。分位点单调性按正确的分位点维度(axis=1)检查。
| 指标 | 值 |
|---|---|
| batch / context / horizon / channels | 8 / 512 / 96 / 1 |
| dtype | float32 |
| 首次运行(含编译) | 2.21 s |
| 稳定阶段 avg / min / max | 1.894 / 1.882 / 1.914 s |
| p50 / p90 / p95 | 1.891 / 1.906 / 1.910 s |
| 峰值显存 | 0.358 GB |
| 吞吐 | 0.528 windows/s |
测试方式:预热 3 次、正式测试 10 次,每次前后 torch.npu.synchronize();不含数据读取与预处理。
以下三张图片由 xterm.js 依据本次真实运行日志渲染生成(非手工绘制、非模拟截图):
| 图片 | 内容 |
|---|---|
![]() | 完整适配工作流:侦察、数据检查、下载、加载、NPU 推理、一致性、benchmark、校验 |
![]() | npu-smi、NPU 可用性、设备名、模型参数/输入/输出 Tensor device |
![]() | 默认 python inference.py 的真实完整输出 |
--model-dir / --data-file 使用本地副本。