Timer-S1 是字节跳动 Seed 团队发布的时间序列基础模型(HF),总参数量 8.3B、每 token 激活约 0.75B,上下文长度 11,520。模型采用 decoder-only MoE Transformer 架构,通过 TimeSTP(Time Series Tokenization & Patching)机制将时间序列按固定 token 长度切分后建模,支持在不同分位数水平(0.1~0.9 共 9 个分位)上的零样本多步预测,在 GIFT-Eval 基准上取得 SOTA,尤其擅长中长期预测任务。
| 项 | 值 |
|---|---|
| 参数量 | 总量 8.3B / 每 token 激活 0.75B(MoE:32 专家取 2) |
| 架构 | TimerS1ForPrediction(decoder-only MoE Transformer + 分位数预测头) |
| 上下文长度 | 最大 11,520(input_token_len=16) |
| 输入 | 单/多变量时间序列 (batch, lookback),float32 |
| 输出 | 分位数预测 (batch, 9, forecast_length) |
| 任务类型 | 时间序列零样本预测(表格数据) |
| 权重精度 | bfloat16(约 16GB) |
| 依赖 | 版本 | 说明 |
|---|---|---|
| Python | 3.10+ | 推荐 3.11 |
| torch | 2.7.1 | 共享环境已装(torch_npu 配套版) |
| torch_npu | 与 CANN 配套 | 昇腾NPU支持(共享环境已装) |
| transformers | ==4.57.1 | 需支持 MoeCausalLMOutputWithPast;加载自定义代码 trust_remote_code=True |
| accelerate | 1.14.0 | 模型加载辅助 |
| numpy / matplotlib / safetensors | - | 数据处理与绘图 |
依赖安装到独立目录(不污染共享环境,注意排除 pip 自动带入的 torch/nvidia 包以免遮蔽共享环境的 torch_npu):
pip install --target /mnt/workspace/Timer-S1/libs \
-i https://pypi.tuna.tsinghua.edu.cn/simple \
"transformers==4.57.1" accelerate safetensors numpy matplotlib
# 清理 pip 连带拉入的 torch/triton/nvidia*/numpy*,避免遮蔽共享环境的 torch_npu
rm -rf /mnt/workspace/Timer-S1/libs/torch* /mnt/workspace/Timer-S1/libs/triton* \
/mnt/workspace/Timer-S1/libs/nvidia* /mnt/workspace/Timer-S1/libs/cuda* \
/mnt/workspace/Timer-S1/libs/numpy*模型权重:/home/developer/models/Timer-S1(bfloat16 safetensors,4 个分片共约 16GB)
确认权重与依赖就位后,脚本会自动将 /mnt/workspace/Timer-S1/libs 与仓库目录加入 PYTHONPATH,无需手动设置。可用 npu-smi info 检查 NPU 设备状态。该模型权重较大(16GB),建议使用显存 ≥40GB 的单卡设备。
python3 inference.py --model_path /home/developer/models/Timer-S1脚本内置合成时间序列示例输入(趋势+日周期+周周期+噪声,默认 720 步回看窗口),只传 --model_path 即可跑通;通过 trust_remote_code=True 加载自定义建模代码,调用 model.generate 做零样本分位数预测;设备自动选择(优先 NPU,不可用回退 CUDA/CPU),打印耗时(耗时/elapsed 字段),结果图保存至 assets/model_result.png。
| 参数 | 类型 | 默认值 | 说明 |
|---|---|---|---|
--model_path | str | /home/developer/models/Timer-S1 | 模型权重目录 |
--lookback_length | int | 720 | 回看窗口长度(自动对齐 input_token_len=16 的整数倍,最大 11520) |
--forecast_length | int | 96 | 预测步数 |
--batch_size | int | 1 | 批大小 |
--device | str | 自动 (npu > cuda > cpu) | 指定推理设备 |
--output | str | assets/model_result.png | 结果图保存路径 |
输入为内置合成的单变量时间序列(720 步历史),零样本预测未来 96 步并输出 9 个分位数。NPU 实测输出示例:
[INFO] device = npu
[INFO] model_path = /home/developer/models/Timer-S1
[INFO] 模型加载完成 load_time=xx.xxs
[INFO] 推理完成 耗时/elapsed=x.xxs (batch=1, lookback=720, forecast=96, device=npu)
[INFO] 输入形状: (1, 720), 预测输出形状: (1, 9, 96) (batch x quantiles9 x steps)
[INFO] 中位数预测前5步: [...]
[RESULT] status=ok device=npu 耗时/elapsed=x.xxs结果截图见 assets/model_result.png。
见 assets/agent_workflow.png。
见 assets/npu_device_call.png。
见 assets/model_result.png。
F.scaled_dot_product_attention),无需也不应指定 flash_attention_2;--lookback_length 或设 model.config.use_cache = False;lookback_length 会自动向下对齐到 input_token_len(=16) 的整数倍,上限 11520;MoeCausalLMOutputWithPast 等较新接口);trust_remote_code=True(权重目录含 configuration_TimerS1.py / modeling_TimerS1.py / ts_generation_mixin.py);pip install --target 隔离安装到 /mnt/workspace/Timer-S1/libs,勿直接装入共享环境。