sheepss/Maple728-TimeMoE-50M-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

TimeMoE-50M 昇腾 NPU 时间序列预测

Maple728/TimeMoE-50M(架构 time_moe,TimeMoeForPrediction)是一个基于 Mixture-of-Experts 的单变量多步时间序列预测基础模型,已在本仓库真实运行于单卡昇腾 npu:0(Ascend910)完成前向推理。本仓库为 GitCode AI model 类型,标签 #NPU。

模型与任务

  • 模型:Maple728/TimeMoE-50M,revision 由 config.json 固定(safetensors 权重 ~226 MB,参数量 113,352,192)。
  • 架构:time_moe / TimeMoeForPrediction,Transformer decoder + MoE(8 experts,top-2),12 层,hidden 384,input_size=1。
  • 任务:单变量多步时间序列预测(点预测),context=336,horizon=64(取自 horizon_lengths=[1,8,32,64])。
  • 加载后端:HuggingFace Transformers AutoModelForCausalLM + trust_remote_code=True(本地代码已审查,无网络/子进程/文件写入风险)。

数据契约

  • 数据集:Box & Jenkins 国际航空公司月度旅客数(1949-1960,144 个观测,公开数据)。
  • 轴顺序:[1, T](batch=1,时间步 T=336),单通道(input_size=1)。
  • 缩放:以 scale = max(|series|) 做除法归一化输入,预测后再乘以 scale 还原(report 为 inverse 后数值)。
  • 窗口:context=336,horizon=64;预测窗口不越出数据边界。
  • 文件来源:脚本内置公开 airline 序列,未提交原数据。

环境

  • 昇腾设备:Ascend910(Ascend910_9362),torch.npu.is_available()==True,device_count=2,使用 npu:0。
  • CANN 8.5.1,torch 2.9.0,torch_npu 2.9.0,transformers 4.57.6,numpy 1.26.4,Python 3.11。

安装

pip install -r requirements.txt

模型权重需放在 models/TimeMoE-50M/(含 config.json、model.safetensors、modeling_time_moe.py、configuration_time_moe.py、ts_generation_mixin.py)。可通过环境变量 TIMEMOE50M_MODEL_DIR 指定路径。

NPU 推理

python inference.py --context 336 --prediction 64

脚本加载同一权重,将模型与输入显式迁移到 npu:0,使用 use_cache=False 规避远端代码与新版 transformers 的缓存格式差异(数值语义不变),输出 horizon=64 的点预测。异常返回非零。

真实结果(npu:0,float32)

[data] airline passengers: n=144 context=336 horizon=64
[result] forecast[0:8]=[428.57, 402.85, 445.28, 454.18, 476.68, 567.38, 661.49, 647.76]
[result] forecast[-8:]=[580.59, 511.81, 457.84, 488.96, 490.81, 478.69, 515.33, 528.59]
[result] sync_elapsed_s=0.3363
[status] NPU inference completed successfully

CPU-NPU 一致性

同一权重、同一 airline 输入、同一预处理与随机种子,float32:

  • max_abs_error = 5.72e-06,mean_abs_error = 8.95e-07,np.allclose(atol=1e-3, rtol=1e-2) 通过。
  • 阈值依据 float32 输出尺度与模型结构确定。

性能(npu:0,稳定阶段,预热 3 次 + 测试 10 次)

  • avg=0.1115 s/窗口,min=0.1114 s,max=0.1117 s,p50=0.1115 s,p90=0.1116 s,p95=0.1116 s。
  • 吞吐 ≈ 8.97 windows/s;峰值 NPU 显存 ≈ 0.499 GB(单卡 64 GB,余量充足)。
  • 首轮含编译时间单独报告(~0.33 s),此处为稳定推理时间。

证据图

  • agent_workflow — 侦察、下载、加载、NPU 推理、一致性、性能与提交校验。
  • npu_device_call — npu-smi、NPU 可用性、设备名、模型参数 device/dtype。
  • model_result — 默认 python inference.py 的真实完整输出。

以上三图由 xterm.js 依据本次真实日志生成,非手工补写。

限制

  • 点为点预测(取选定 horizon head 的最后一步输出),未提供概率分位数。
  • 采用 use_cache=False 前向路径以适配当前 transformers 版本,输出与 use_cache=True 数值一致。
  • 单变量(input_size=1)输入;多变量需按模型契约扩展。