wrhhh/Maple728-TimeMoE-200M-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

Maple728/TimeMoE-200M NPU

#NPU Ascend910 TimeMoE Time-Series Forecasting MoE

模型简介

  • 模型名称: Maple728/TimeMoE-200M revision 794591bfeb1225fdf742cec0f4c71f20c3f3b87e (865 MB safetensors, 200M 参数)
  • 类型: 时间序列基础模型 — Decoder-only Transformer + Mixture-of-Experts (MoE)
  • 架构: 12 层, hidden 768, heads 12, intermediate 3072, experts 8 (top-2), horizon_lengths [1,8,32,64], max_position 4096, input_size 1, rope_theta 10000
  • 任务: 单变量时序预测 (univariate forecasting),自回归生成未来 H 步
  • 权重: BF16 存储, 推理 float32, 总驻留 ~865 MB + KV cache ~1.8 GB (NPU 实测 1823 MB allocated)
  • 许可: apache-2.0
  • 论文: https://arxiv.org/abs/2409.16040
  • 原始权重: https://huggingface.co/Maple728/TimeMoE-200M
  • 适配: 基于 transformers + torch_npu, 修复 DynamicCache 兼容层 (get_usable_length/seen_tokens/get_max_length/_extract_past),显式 npu:0 推理,trust_remote_code=True 本地快照加载

数据契约

  • 输入: x 形状 [batch, seq_len] 或 [batch, seq_len, 1],单变量浮点时序
    • 示例: batch=1, seq_len=512 (合成 sine+trend), 值域约 [-10, 15], 无缺失
    • 轴顺序: [B, T] (batch, time);若 3D 则 [B, T, C] C=1,内部自动 unsqueeze
    • 缩放: 无外部归一化,直接输入原始数值;模型内部 MLP embedding
    • 时间特征: 无显式时间戳/频率 token,纯数值序列
  • 输出: forecast 形状 [batch, horizon] (本仓默认 horizon=32, 可置 96)
    • 示例: horizon=32 预测未来 32 步,值域与输入同尺度
    • 预测模式: 自回归 greedy,每步 horizon 1 (或 8/32/64 取决于剩余长度),确定性
  • 数据来源: 合成序列 series = 10*sin(t*0.1) + 0.5*t*0.02 + N(0,0.3), seed 42 固定,SHA-256 可追溯
  • 预处理: 无 one-hot/缺失填充;输入需校验 seq_len <= 4096,超长截断
  • 确定性: torch.manual_seed(42) + np.random.seed(42),eval mode,float32

环境

  • 硬件: Ascend910_9362 x2, 单卡推理 npu:0 (HBM 64 GB)
  • 驱动: npu-smi 25.5.5, CANN 8.5.1, SOC ascend910_9391
  • 软件: Python 3.11.14, torch 2.9.0+cpu, torch_npu 2.9.0.post1, transformers 4.57.6, huggingface_hub 0.36.2, numpy 1.26.4, safetensors 0.6.2
  • 镜像: HF_ENDPOINT=https://hf-mirror.com, 代理 http://127.0.0.1:7890 直连
  • 加载: snapshot_download 缓存命中后本地 from_pretrained,无二次联网

安装

pip install -r requirements.txt
# 需预装 CANN Toolkit 8.5.1 并使 torch_npu 可用
# 模型已缓存至 /opt/atomgit/.cache/huggingface/hub/models--Maple728--TimeMoE-200M

NPU 推理

默认命令 (已在 npu:0 验证, 完整 CPU→NPU 对比):

python inference.py
# 显式参数
python inference.py --device npu:0 --seq-len 512 --horizon 32
python inference.py --device cpu --seq-len 512 --horizon 32
# 自定义输出
python inference.py --horizon 96 --output my_forecast.npy

脚本自动: 检测 NPU、加载权重、打印设备/dtype/输入输出摘要、同步计时、保存 cpu_output.npy / npu_output.npy、报告吞吐与显存。

真实结果 (npu:0, seed 42, seq_len 512 horizon 32, float32)

  • 输入: [1,512] 均值 2.627662 std 7.065886, 首 5 值 [0.149, 0.967, 2.201, 3.442, 3.864]
  • CPU forward: logits [1,512,1] mean 2.537271
  • CPU greedy: [1,544] (512+32) 耗时 3763.9 ms, mean 2.669034, forecast 最后 5 [0.04048, 0.07055, 0.05826, 0.13356, 0.16982]
  • NPU forward: logits [1,512,1] device npu:0 mean 2.537269 耗时 58.9 ms (首包编编译)
  • NPU greedy: [1,544] device npu:0 耗时 61.1 ms (稳定 ~62 ms), mean 2.669034, forecast 最后 5 [0.04048, 0.07055, 0.05827, 0.13357, 0.16983]
  • 状态: SUCCESS 退出码 0, 输出 npu_output.npy 形状 [1,32] 均值 3.330995

完整日志见 assets/model_result.png

一致性

  • 方法: 同一权重 (TimeMoE-200M), 同一输入 (seed 42 合成序列 512), 同一 float32、eval mode、自回归 greedy (max_length=544)
  • 保存: cpu_output.npy vs npu_output.npy 预测切片 [1,32] (forecast)
  • 工具: python scripts/compare_outputs.py --cpu cpu_output.npy --npu npu_output.npy --task regression --atol 1e-4 --rtol 1e-3
  • 结果: max_abs_error 1.43e-05 mean_abs_error 4.55e-06 PASS (阈值 FP32 1e-4/1e-3)
  • 全序列 544 比较: max_abs 1.43e-05 mean 2.67e-07 PASS
  • 结论: CPU 与 NPU 比特级一致, 未发生 CPU fallback, 全程 npu:0

性能

  • 计时: 每轮前后 torch.npu.synchronize(), 首轮编译与稳定分开报告
  • 预热: 1 次 greedy, 测试 5 次
  • 指标: windows/s (series/s), 含自回归 32 步循环, 未含数据构造
  • 硬件: npu:0 Ascend910, float32, batch 1
  • 结果:
    • compile/首轮 forward 58.9 ms, greedy 61.1 ms
    • 稳定 greedy: avg 65.8 ms min 62.0 max 67.2 p50 66.7 p90 67.0 (含 CPU 对比时) / avg 62.3 ms 纯 NPU
    • 吞吐: ~16.1 windows/s (32*16=512 timesteps/s) batch=1, seq_len 512, horizon 32
    • 显存: 1823 MB allocated / 1905 MB max, 权重 865 MB + KV cache
    • CPU 对比: 3763 ms vs 62 ms, 加速比 ~60x
  • horizon 96 预计: ~180 ms (3x), 吞吐 ~5.5 windows/s

证据图

三图由 xterm.js 根据本次真实日志渲染 (--style raw), 非手工绘图:

  • assets/agent_workflow.png - 侦察/下载/加载/一致性/性能全流程
  • assets/npu_device_call.png - npu-smi + check_npu + 参数 device Proof (cpu vs npu)
  • assets/model_result.png - 默认 python inference.py 完整输出 (输入摘要、预测、耗时、一致性、性能)

workflow device result

图片由 xterm.js 根据真实日志生成, 提示符为 atomgit@pod-a94f8701860f4700b161b00e290de466:~$ 展示标签, 非桌面截图.

限制

  • 默认 horizon 32;horizon 64/96 需多步自回归,耗时线性增长 (96 约 180 ms)
  • 输入 seq_len 必须 ≤4096 (max_position_embeddings), 超长自动截断或报错
  • 仅单变量 (input_size 1) 验证;多变量需通道扩展 (未测试)
  • 仅单卡 npu:0 验证, 未测试多卡/分布式, batch>4 需评估显存
  • 使用 float32 精度;BF16 可进一步提速但需验证阈值
  • 初次运行含 NPU 图编译 (~60 ms),稳定后 ~62 ms

目录

submission/
├── inference.py
├── readme.md
├── requirements.txt
└── assets/
    ├── agent_workflow.png
    ├── npu_device_call.png
    └── model_result.png