TEMPO(Time-Series Foundation Model)是 ICLR 2024 论文 "TEMPO: Prompt-based Generative Pre-trained Transformer for Time Series Forecasting" 提出的开源时序基础模型,用于长时程时序预测(long-term time-series forecasting)。 它基于 GPT-2 骨干网络,通过 STL 式的趋势/季节/残差分解 + prompt 引导, 将预训练语言模型能力迁移到时序预测任务上。
本交付将 Hugging Face 模型 Melady/TEMPO
(源修订 2d2f7386e10c1666ce67605a2e40948230867870,权重
TEMPO-80M_v2.pth,Apache-2.0)适配到华为昇腾 Ascend NPU,使用
torch_npu 引擎在物理设备 npu:6 上完成真实推理。这是一次功能型 NPU 测试
(functional NPU test),不是精度基准(accuracy benchmark)。
time-series-forecastingtorch_npu(Ascend910B4-1 / CANN 8.5.1)(1, 96, 1))| 项目 | 值 |
|---|---|
| 操作系统 | openEuler 24.03 (LTS-SP2),aarch64 |
| NPU 设备 | Ascend910B4-1,共 8 卡,物理/逻辑设备 npu:6 |
| 驱动 / NPU-SMI | npu-smi 25.5.1 |
| CANN | 8.5.1(/usr/local/Ascend/cann-8.5.1) |
| Python | 3.11.14 |
| PyTorch | 2.9.0+cpu(容器镜像自带) |
| torch_npu | 2.9.0(容器镜像自带) |
| transformers | 4.40.1 |
说明:
torch 2.9.0+cpu是容器镜像的 PyTorch 基座,torch_npu为其提供npu后端;npu:6为物理设备 6,未使用ASCEND_RT_VISIBLE_DEVICES重映射。
requirements.txt 只含应用层依赖,不包含 torch 与 torch_npu:
numpy>=1.24,<2
einops>=0.7
transformers==4.40.1
huggingface_hub>=0.24容器镜像已预装上述包,无需额外安装即可运行;若需重建环境,仅允许使用阿里云 PyPI 镜像,且必须保留镜像自带的 torch/torch_npu 配对:
pip install -r requirements.txt \
-i https://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com禁止从普通 PyPI 安装或升级 torch / torch_npu,否则会破坏昇腾后端配对。
tempo-npu/
├── inference.py # 便携 NPU 推理入口(严格检查,失败即非零退出)
├── README.md # 本说明(与 readme.md 字节一致)
├── readme.md
├── requirements.txt
├── .gitignore
├── SHA256SUMS # 交付物校验和(最后生成,不含自身)
├── scripts/
│ └── run_inference_npu.sh # 一键运行 + npu-smi 并发监控脚本
├── tempo_impl/ # 忠实复现的 TEMPO 运行时(含归属说明)
│ ├── __init__.py
│ ├── model.py
│ ├── ATTRIBUTION.md
│ └── tokenizer/ # GPT-2 BPE tokenizer(离线固定,用于生成 prompt token id)
├── logs/
│ ├── npu_inference.log # 真实推理 stdout/stderr
│ ├── npu_result.json # 稳定 JSON 结果记录
│ ├── npu_device_call.log # npu-smi 并发监控(含 NPU 6 上的实时 PID)
│ ├── modelagent_dialogue.log # 脱敏执行对话日志
│ └── acceptance_summary.log # 验收总结
├── evidence/
│ └── modelagent_summary.log # 摘要证据
└── assets/
├── agent_workflow.png # 工作流(1440x1800)
├── modelagent_live_session.png # 会话截图(1440x900)
├── npu_device_call.png # NPU 设备调用截图(1440x900)
└── model_result.png # 结果截图(1440x900)cd /work/pipeline/jobs/tabular16/tempo/tempo-npu
bash scripts/run_inference_npu.sh该脚本会:后台启动 inference.py,轮询 npu-smi info -t proc-mem -i 6 直至
捕获到真实 Python PID,并发保存 npu-smi info 与 npu-smi info -t proc-mem -i 6
到 logs/npu_device_call.log,并保存 stdout/stderr、退出码、时间戳。
cd /work/pipeline/jobs/tabular16/tempo/tempo-npu
python inference.py \
--model-path /work/pipeline/models/tabular16/tempo \
--device npu:6 \
--output-json logs/npu_result.json \
--seed 7 \
--seq-len 336 \
--pred-len 96 \
--monitor-hold-seconds 45完整 CLI 参数:
| 参数 | 必填 | 说明 |
|---|---|---|
--model-path | 是 | 模型缓存目录(含 TEMPO-80M_v2.pth 与 config.json) |
--device | 否 | 请求的 NPU 设备,默认 npu:6 |
--output-json / --out-json | 否 | 结果 JSON 路径(--out-json 为别名) |
--seed | 否 | 随机种子,默认 7 |
--seq-len | 否 | 输入长度,默认 336 |
--pred-len | 否 | 预测步数,默认 96 |
--monitor-hold-seconds | 否 | 推理完成后保持 NPU 上下文 N 秒,便于外部 npu-smi 捕获实时 PID |
inference.py 严格执行以下检查,任一失败即非零退出,绝不静默回退 CPU:
torch_npu;要求 torch.npu.is_available() 为真且请求索引有效;
设置 npu:6。TEMPO-80M_v2.pth 的大小(292,795,929 字节)与
SHA256(0cf742c2...b5229)。load_state_dict(strict=True) 装载全部 146 个真实权重张量,报告缺失/
多余键;只要不是 0 missing / 0 unexpected 即失败。eval() 推理模式下执行官方有意义的预测路径,输出未来 96 步;
所有神经网络输入与模型参数均在 npu:6 上,预测输出在设备断言与同步完成前
保持于 npu:6。npu:6;输出形状恰为
96 步;数值有限、方差非零、非末值拷贝、非常数;记录稳定统计量与预览。logs/npu_result.json),顶层 exit_code: 0。确定性 CC0 合成单变量时序(公式,无随机数):
t = np.arange(336, dtype=np.float64)
x = (0.05*t
+ 5.0*np.sin(2*np.pi*t/24.0)
+ 2.0*np.sin(2*np.pi*t/(24.0*7))
+ 0.8*np.cos(2*np.pi*t/(24.0*30))
+ 0.05*np.sin(2*np.pi*t/13.0 + 0.3)).astype(np.float32)(1, 336, 1) / float32 / npu:6python inference.py --model-path /work/pipeline/models/tabular16/tempo \
--device npu:6 --output-json logs/npu_result.json \
--seed 7 --seq-len 336 --pred-len 96 --monitor-hold-seconds 45| 校验 | 结果 |
|---|---|
| NPU 可用 | True |
| 设备索引有效 | True(npu:6) |
| checkpoint 大小 | 292,795,929 == 期望 |
| checkpoint SHA256 | 0cf742c2442ee6c3a76cf31fece918b50dd0bc43b7b63491b1a793457bcb5229 |
| 严格装载 | 146 keys,0 missing,0 unexpected |
| 输入设备 | npu:6 |
首参数设备(mul_season.a) | npu:6 |
末参数设备(rev_in_noise.affine_bias) | npu:6 |
| 输出设备 | npu:6 |
| 输出 shape | (1, 96, 1) |
| 输出有限 / 方差非零 / 非常数 | True / True / True |
顶层 exit_code | 0 |
实际运行输出(与 logs/npu_result.json 完全一致):
[checkpoint] size 292795929 (expected 292795929) -> True
[checkpoint] sha256 0cf742c2442ee6c3a76cf31fece918b50dd0bc43b7b63491b1a793457bcb5229
[model] strict load: checkpoint_keys=146 missing=0 unexpected=0
[model] first param mul_season.a on npu:6
[model] last param rev_in_noise.affine_bias on npu:6
[input] synthetic CC0 series shape (1, 336, 1) device npu:6
[output] shape (1, 96, 1) device npu:6 dtype torch.float32
[output] mean=3.274417 std=1.657237 var=2.746435 min=-0.519279 max=6.020394
[output] preview [2.392814, 2.483591, 2.737379, 3.785154, 4.454711, 4.760368, 5.474445, 5.740301]
[json] wrote logs/npu_result.json
[done] exit_code=0结果统计量:
| 指标 | 值 |
|---|---|
| mean | 3.2744174003601074 |
| std | 1.65723717212677 |
| var | 2.7464351654052734 |
| min | -0.5192794799804688 |
| max | 6.020394325256348 |
| 推理耗时 | 0.3908 s |
| 峰值 NPU 显存 | 313.5 MB |
| PID(NPU 6 实测) | 3765173 |
预测预览(前 8 步):[2.392814, 2.483591, 2.737379, 3.785154, 4.454711, 4.760368, 5.474445, 5.740301]
NPU 6 设备调用证据(logs/npu_device_call.log 节选):
[launch] inference PID=3765173
[monitor] live PID observed on NPU 6 at iteration 7
...
| 6 0 | 3765173 | python | 110 |
...
Process id:3765173 Process name:python Process memory(MB):110

| 项 | 值 |
|---|---|
| Hugging Face 模型 | Melady/TEMPO |
| 源修订(pinned) | 2d2f7386e10c1666ce67605a2e40948230867870 |
| 官方实现仓库 | https://github.com/DC-research/TEMPO.git |
| 官方代码提交(已检视) | cd56d7552cb0fa0beb06b977158bf41d9c98baec(2025-02-22) |
| 官方代码许可证 | MIT,Copyright (c) 2024 Defu Cao |
| 模型卡许可证 | Apache-2.0 |
TEMPO-80M_v2.pth0cf742c2442ee6c3a76cf31fece918b50dd0bc43b7b63491b1a793457bcb5229TEMPO-80M_v1.pth 缺失;all_six_datasets 与
stl_forfoundation 下的 CSV/PK 文件为约 130 字节的 Git LFS 指针,非可用数据,
本交付不使用这些指针文件作为输入。tempo_impl/model.py)gpt2_trend.base_model.model.* 与
c_attn.lora_A.default / lora_B.default,不依赖 peft 包。gpt_layers 采用检查点实测值 3(config.json 中为 6,属于上游
checkpoint-vs-config 不一致,已在 npu_result.json 的 config_overrides 记录)。prompt_key_dict / prompt_value_dict /
summary_map)与 out_layer_noise_fre(ComplexLinear);这些模块被注册以完整
装载 146 个张量,但当前官方预测前向不调用它们;预测路径使用官方 token-prompt
路径(use_token=0,确定性 GPT-2 BPE prompt token)。tempo_impl/tokenizer 中的离线 GPT-2 tokenizer
生成(token_len=9),运行时不依赖网络导入。输入为确定性 CC0 合成单变量序列(见“完整测试用例”),闭式公式生成,无随机性, 许可证 CC0-1.0。它仅用于验证 NPU 上 TEMPO 的端到端推理链路(设备、装载、前向、 形状、有限性、非平凡输出),不代表任何真实数据集,也不用于精度评价。
predict() 路径的归一化行为影响(与官方代码一致)。TEMPO-80M_v1.pth 与 LFS 指针数据不可用,未作为输入。/work/pipeline/jobs/tabular16/tempo/tempo-npu。| 现象 | 可能原因 | 处理 |
|---|---|---|
RuntimeError: NPU function error: call aclnnAddmm failed / AclNN_Parameter_Error | 前向输入张量形状与线性层不匹配(如序列切分维度错误) | 修正 forward 中 x[:, a:b, :] 切分;本交付已修复并验证 |
torch.npu.is_available() 为 False | CANN 环境未加载或驱动未就绪 | source /usr/local/Ascend/ascend-toolkit/set_env.sh,检查 npu-smi info |
| checkpoint 大小 / SHA256 不匹配 | 权重文件被 LFS 指针或损坏文件替换 | 使用完整 v2 权重;本交付在加载前严格校验 |
ModuleNotFoundError: tempo_impl | 未在交付根目录运行 | 在 tempo-npu 目录下运行,或设置 PYTHONPATH=. |
| 设备索引越界 | --device npu:N 的 N 超出 [0, device_count) | 使用 npu:6(共 8 卡) |
| 输出为常数/末值拷贝 | 模型未正确装载或输入异常 | 检查 strict load 证据与输入合成公式 |
npu:6 上运行,npu-smi 捕获到实时 Python PIDload_state_dict(strict=True):146 keys,0 missing,0 unexpected(1, 96, 1),device npu:6,有限、方差非零、非末值拷贝logs/npu_result.json 顶层 exit_code: 0,字段完整| 证据 | 路径 |
|---|---|
| 推理 stdout/stderr | logs/npu_inference.log |
| 结果 JSON | logs/npu_result.json |
| NPU 设备调用(实时 PID) | logs/npu_device_call.log |
| 脱敏执行对话 | logs/modelagent_dialogue.log |
| 验收总结 | logs/acceptance_summary.log |
| 摘要证据 | evidence/modelagent_summary.log |
| 工作流截图 | assets/agent_workflow.png |
| 会话截图 | assets/modelagent_live_session.png |
| NPU 截图 | assets/npu_device_call.png |
| 结果截图 | assets/model_result.png |
| 交付校验和 | SHA256SUMS |
tempo_impl/)为对官方架构的忠实、最小复现,完整归属见
tempo_impl/ATTRIBUTION.md。