m
mengsihan/Maple728-TimeMoE-200M-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

TimeMoE-200M — NPU 时序预测适配(Ascend 910B)

#NPU #TimeMoE #Time-Series-Forecasting #Ascend

本项目将 Maple728/TimeMoE-200M 适配到单卡昇腾 NPU(Ascend 910B,npu:0)并完成真实推理验证。

  • 模型 / revision:Maple728/TimeMoE-200M @ 794591bfeb1225fdf742cec0f4c71f20c3f3b87e
  • 任务:单变量月度时间序列预测(12 步 horizon)
  • 架构:TimeMoE(稀疏混合专家 Transformer,8 专家 / top-2 路由,12 层,hidden 768,约 4.5 亿参数,bf16 权重 906 MB)
  • 加载后端:HuggingFace transformers + trust_remote_code=True(modeling_time_moe.py 已人工审查,无网络/子进程/文件写入行为)
  • 输入 / 输出:输入 [batch, context] 连续值序列(逐序列 z-score 标准化);model.generate(..., max_new_tokens=12) 输出 [batch, context+12],末尾 12 位为预测;predictions = normed * std + mean 逆标准化还原。

数据契约

使用经典公开 AirPassengers 数据(Box & Jenkins 国际航线月客运量,1949-01 ~ 1960-12,144 个观测)。 来源:HuggingFace 数据集 duol/airpassengers(AP.csv),文件 SHA-256 5f8b316b84545d9cfb05612298df8415ce4c44421c7012d109465564b07ebc06。

项目值
频率月度(monthly)
观测数144
列Month(时间),#Passengers(目标)
上下文窗口最后 36 个月(1957-01 ~ 1959-12)
预测 horizon12 个月(1960-01 ~ 1960-12)
标准化逐序列 z-score:(x - mean) / std(mean/std 在 context 维度计算,torch 默认 ddof=0)
逆标准化pred = normed_pred * std + mean

数据已内嵌于 inference.py(AIRLINE_PASSENGERS),保证默认命令离线自包含复现。

环境

  • 昇腾 NPU:Ascend 910B(npu-smi 显示 Ascend910,torch.npu.get_device_name(0)=Ascend910_9362,2 卡,单卡 HBM 64 GB),SOC_VERSION=ascend910_9391
  • CANN:8.5.1
  • Python:3.11.14
  • torch:2.9.0+cpu(+torch_npu 2.9.0.post1)
  • transformers:4.40.1
  • numpy:1.26.4

依赖

见 requirements.txt:torch、torch-npu、transformers>=4.40.1、numpy。

默认命令

pip install -r requirements.txt
python inference.py

inference.py 加载本地权重(依次探测 models/TimeMoE-200M、models/time_moe_200m、TimeMoE-200M、HF 缓存;可用 TIMEMOE_MODEL_DIR 指定), 在 npu:0 上完成真实推理并输出数据契约、设备信息、预测值、MAE/RMSE 与耗时。无 NPU 时返回非零。

真实结果(NPU npu:0)

上下文 1957-01 ~ 1959-12,预测 1960-01 ~ 1960-12:

月份实际值预测值 (bf16)预测值 (fp32)
1960-01417409.58409.40
1960-02391380.89380.38
1960-03419421.97421.97
1960-04461405.98406.05
1960-05472426.87426.81
1960-06535480.93481.32
1960-07622538.26538.41
1960-08606534.21535.06
1960-09508433.67434.34
1960-10461372.07372.90
1960-11390321.58322.68
1960-12432356.23357.61
dtypeMAERMSE
bfloat1653.1460.67
float3252.7560.14

真实权重在 npu:0 完成目标任务推理;零样本基础模型预测捕捉了上升趋势与季节模式(峰值略低,符合该模型在此数据上的已知行为)。

CPU-NPU 一致性

相同权重(model.safetensors)、相同输入、相同预处理、相同随机种子(seed=0)、eval() 模式,分别保存原始输出对比:

  • 归一化空间模型原始输出(12 位预测向量):max_abs_error = 5.0e-6,atol=1e-4, rtol=1e-3 通过
  • 逆标准化后最终预测:max_abs_error = 3.1e-4,通过

一致性阈值按 float32 推理精度设定;全部有限值,无 NaN/Inf。

性能(NPU npu:0,bf16)

配置:batch=1,context=36,prediction=12,输出序列长 48,峰值显存 969 MB(单卡 64 GB 余量充足)。

  • 首次运行(JIT 编译):0.4786 s
  • 稳定阶段(预热 3 次 + 计时 10 次):avg 0.2893 s,min 0.2777 s,max 0.3088 s,p50 0.2846 s,p90 0.3058 s,p95 0.3073 s
  • 吞吐:3.46 series/s(windows/s)
  • 计时前后均调用 torch.npu.synchronize();数据读取与预处理不计入(preprocessing_timing_included=false)

证据图

以下三张证据图由 xterm.js 根据本次任务的真实日志渲染(非模拟截图):

图说明
assets/agent_workflow.png侦察、数据检查、下载、加载、NPU 推理、一致性、benchmark、提交校验
assets/npu_device_call.pngnpu-smi、NPU 可用性、模型参数 device/dtype、输入输出 Tensor device
assets/model_result.png默认 python inference.py 的真实完整输出

限制

  • 单变量(input_size=1);多变量与通道维度需按官方约定扩展。
  • 本任务为固定窗口 smoke/单序列一致性验证,非完整 benchmark 精度排名。
  • 模型权重约 906 MB,未包含在本仓库内(按适配规范不提交权重);inference.py 会从本地路径或 HuggingFace 加载。
  • 自定义代码采用 trust_remote_code,已审查无危险行为;首次运行含 JIT 编译时间。