TEMPO(Prompt-based Generative Pre-trained Transformer for Time Series Forecasting,ICLR 2024)是一个基于 GPT2 的时间序列基础模型。采用 STL 分解(趋势/季节/残差)加 GPT2 骨干(6 层,d_model 768)加 LoRA(r=16)结构,进行长期时间序列预测。
| 项目 | 值 |
|---|---|
| 模型 | Melady/TEMPO (TEMPO-80M_v1) |
| 架构 | GPT2 backbone 6 层 + STL 分解 + LoRA r16 |
| 参数量 | ~82M(含 LoRA) |
| 输入 | 单变量序列 336 点,shape [B=1, L=336, M=1] |
| 输出 | 预测 96 点,shape [B=1, L=96, M=1] / (96,) |
| 许可证 | Apache-2.0 |
| 精度 | float32 |
source /usr/local/Ascend/ascend-toolkit/set_env.sh)export PIP_INDEX_URL=https://repo.huaweicloud.com/repository/pypi/simple/
pip install torch torch_npu transformers peft einops omegaconf safetensors权重(TEMPO-80M_v1.pth 约 293MB + config.json)从 Hugging Face 获取:
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download Melady/TEMPO TEMPO-80M_v1.pth --local-dir .
huggingface-cli download Melady/TEMPO config.json --local-dir .python3 inference.py --model_path . --device npu:0可选参数:
--input <data.npy|csv>:指定 336 点输入序列;缺省使用合成数据(seed 42)--pred_len <N>:预测长度(默认 96)输出示例:
[info] device = npu:0
[info] seq_len=336 pred_len=96 gpt_layers=6 d_model=768 patch_size=16
[info] model loaded (10.94s), first param npu:0 params 94.44M
[info] Inference complete! pred shape (96,) dtype float64
[result] pred[:5] [-1.8445, -0.6074, -0.7558, -0.9157, -0.8511]
[result] pred[-5:] [-0.2121, 0.0400, -0.1441, -0.5078, -0.5924]
[result] stats min -1.8445 max 0.7882 mean -0.1901 std 0.4058 finite True
[done] NPU inference completed successfully模型架构保持原 DC-research/TEMPO 实现不变。权重通过 torch.load(map_location=npu:0) 加载,所有参数显式迁移到 npu:0。strict=False 载入(缺失 42 / 多余 66 个键,均为 pool/prompt 适配层参数,非关键)。
├── inference.py # NPU 推理脚本
├── model_tempo.py # TEMPO 模型定义
├── config.json # 模型配置
├── TEMPO-80M_v1.pth # 权重(不推送)
├── README.md # 本模型卡片
└── assets/ # 截图素材@article{cao2024tempo,
title={TEMPO: Prompt-based Generative Pre-trained Transformer for Time Series Forecasting},
author={Cao, Defu and others},
journal={ICLR},
year={2024}
}