HuggingFace镜像/sundial-base-128m
模型介绍
文件和版本
分析

Sundial（Timer 3.0）

🚩 最新动态（2025.08） Sundial 已集成至原生时序数据库 Apache IoTDB 中。

🚩 最新动态（2025.06） Sundial 被接收为 ICML 2025 口头报告（Top 1%）。

🚩 最新动态（2025.05） 在 GIFT-Eval 基准测试中获得 MASE 指标第一名。

🚩 最新动态（2025.02） 在 Time-Series-Library 数据集上实现零样本性能 MSE/MAE 指标第一名。

image/png

Sundial 是一系列生成式时序基础模型。本版本基于1 万亿时间点数据，以1.28 亿参数规模进行预训练。更多信息，请参阅此论文。[幻灯片] [海报] [中文介绍]。

该模型可对点预测和概率预测进行零样本预测。除均值或分位数外，您还可以通过生成的样本集获取任意统计预测结果。

Sundial 可被视为一种ARMA模型（自回归移动平均模型）。Transformer 学习自回归的 token 表示。TimeFlow 以这些表示为条件，将随机噪声转换为非确定性预测结果。

image/png

整体架构：输入时序数据被划分为 patch tokens，这些 tokens 由原始连续值嵌入得到。patch 嵌入向量被输入至一个仅含解码器的 Transformer（一种经过稳定性和速度优化的版本），以学习 token 表示。模型通过我们提出的 TimeFlow Loss 进行优化，这是一种参数化损失函数，可基于学习到的表示对每个 token 的概率分布进行建模，并在流匹配框架下生成多个合理的预测结果。

快速开始

pip install transformers==4.40.1 # Use this version and Python 3.10 for stable compatibility
import torch
from transformers import AutoModelForCausalLM

# load pretrain model
# supports different lookback/forecast lengths
model = AutoModelForCausalLM.from_pretrained('thuml/sundial-base-128m', trust_remote_code=True) 

# prepare input
batch_size, lookback_length = 1, 2880 
seqs = torch.randn(batch_size, lookback_length)

# Note that Sundial can generate multiple probable predictions
forecast_length = 96 
num_samples = 20

output = model.generate(seqs, max_new_tokens=forecast_length, num_samples=num_samples)

# use raw predictions for mean/quantiles/confidence-interval estimation
print(output.shape)

更多关于分位数或置信区间预测的示例可在本notebook中找到。

评估

我们在以下基准上评估性能：

  • GIFT-Eval（MASE 排名第一）[排行榜]。
  • Time-Series-Library（MSE/MAE 排名第一）。
  • FEV 排行榜。

我们正在积极改进，并欢迎提出建议和分享值得关注的案例 :)

推理时间

  • 硬件：Apple M1 Pro CPU（16 GB）
回溯长度预测长度生成样本数推理时间加速方式
672161249ms-
2880161510msFlashAttention
28807201510msMulti-Patch Prediction
288014401789msKV Cache
288072020949msShared Condition
  • 硬件：A100-40G GPU，遵循Chronos论文。

image/png

规格

  • 架构：因果 Transformer（仅解码器）
  • 预训练规模：1032B 时间点
  • 上下文长度：最长 2880
  • ReNorm：默认=True
  • Patch Length：16
  • Multi-Patch Prediction Length：720
  • 参数数量：128M
  • 层数：12
  • 精度：FP32
  • 加速技术：KV Cache 与 FlashAttention

致谢

本研究工作得到了国家自然科学基金（62022050 和 U2342217）、北京信息科学与技术国家研究中心创新基金（BNR2024RC01010）以及国家大数据软件工程技术研究中心的支持。

本模型主要基于互联网公开的时间序列数据集构建，这些数据集来自不同的研究团队和提供方。我们衷心感谢所有为数据做出贡献的个人和组织。没有他们的慷慨分享，本模型就不可能存在。

引用

如果您发现 Sundial 对您的研究有所帮助，请引用我们的论文：

@article{liu2025sundial,
  title={Sundial: A Family of Highly Capable Time Series Foundation Models},
  author={Liu, Yong and Qin, Guo and Shi, Zhiyuan and Chen, Zhi and Yang, Caiyin and Huang, Xiangdong and Wang, Jianmin and Long, Mingsheng},
  journal={arXiv preprint arXiv:2502.00816},
  year={2025}
}

联系方式

如果您有任何问题或希望使用本代码，请随时联系：

  • 刘永（liuyong21@mails.tsinghua.edu.cn）
  • 秦果（qinguo24@mails.tsinghua.edu.cn）

许可证

本模型采用 Apache-2.0 许可证。