g
gcw_coj3XaOd/sundial-base-128m
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

thuml/sundial-base-128m - 昇腾 NPU 推理部署

1. 模型简介

模型名称: thuml/sundial-base-128m

模型链接: HuggingFace

模型描述: Sundial 是一个生成式时间序列基础模型,采用 Transformer Decoder + Flow Matching 扩散架构。该版本在 1 万亿时间点上预训练,具有 128M 参数,支持零样本点预测和概率预测。

模型架构: SundialPatchEmbedding → 12层 SundialDecoderLayer (SundialAttention + SundialMLP + LayerNorm) → FlowLoss (SimpleMLPAdaLN 扩散头)

参数规模: 128,329,680 (128M)

输入规格:

  • 类型:原始时间序列 (float32)
  • Shape:[batch, seq_len],推荐 seq_len=96, 192, 336, 720 等
  • Patch 机制:每个 token 编码 input_token_len=16 个连续值

输出规格:

  • 类型:预测时间序列 (float32)
  • Shape:[batch, output_token_len],默认 output_token_len=720
  • 支持多采样:可生成多个概率样本取均值

2. 环境依赖

依赖项版本要求说明
Python>= 3.10推荐 3.11
torch>= 2.1.0PyTorch 框架
torch_npu>= 2.1.0昇腾 NPU 后端
safetensors>= 0.4.0权重加载
numpy>= 1.24.0数值计算
昇腾驱动CANN 8.0+推荐 CANN 8.5.1
NPU 硬件Ascend 910单卡或多卡

安装命令:

pip install torch torch_npu safetensors numpy

3. 推理步骤

3.1 环境准备

# 检查 NPU 设备
npu-smi info

# 验证 torch_npu
python3 -c "import torch_npu; print(torch.npu.device_count(), torch.npu.get_device_name(0))"

3.2 模型下载

方式一:HuggingFace(推荐)

huggingface-cli download thuml/sundial-base-128m --local-dir ./weights

方式二:AtomGit 镜像(HuggingFace 下载慢时使用)

huggingface-cli download <AtomGit镜像地址> --local-dir ./weights

3.3 运行推理

# 运行完整推理测试
python3 inference.py --model-path ./weights

# 自定义参数
python3 inference.py --model-path ./weights --input-len 96 --batch-size 4 --num-samples 10

3.4 推理参数说明

参数类型默认值说明
--model-pathstr必填模型 checkpoint 路径
--devicestrnpu设备类型 (npu/cpu)
--num-samplesint10随机采样次数(用于概率预测)
--input-lenint96输入序列长度
--batch-sizeint4批量推理批次大小

3.5 编程式调用

from inference import load_model, generate_forecast
import torch

model = load_model("./weights", device="npu")
input_series = torch.randn(1, 96)  # [batch, seq_len]
forecast = generate_forecast(model, input_series, num_samples=10)
print(forecast.shape)  # torch.Size([1, 720])

4. 推理成功日志

4.1 单条推理日志

[模型] thuml/sundial-base-128m
[设备] Ascend910_9362 (npu:0)
[输入] 模拟时间序列 (sin波 + 趋势 + 噪声), shape=(1, 96)
[输出] 预测序列, shape=(1, 720)
[耗时] 320.6ms
[状态] SUCCESS

4.2 批量推理日志

[输入] batch 随机时间序列, shape=(4, 96)
[输出] 批量预测, shape=(4, 720)
[耗时] 91.7ms
[状态] SUCCESS

4.3 基准测试 (50次推理)

  次数: 50
  平均: 84.2ms
  最小: 78.5ms
  最大: 89.0ms
  标准差: 3.9ms
  P50: 86.7ms
  P99: 88.7ms

5. 测试样例及输出结果

样例 1:单条时间序列推理

运行命令:

python3 inference.py --model-path ./weights

输出(样例 1):

>>> 样例 1: 单条时间序列推理
输入: 模拟时间序列 (sin波 + 趋势 + 噪声), shape=(1, 96)
     输入范围: [0.0497, 6.1368]
输出: 预测序列, shape=(1, 720)
     前10个预测值: [6.3110, 6.5309, 6.7208, 6.8141, 6.8392, 6.8748, 6.8957, 6.8236, 6.7097, 6.6158]
     输出范围: [1.0933, 6.8957]
     推理耗时: 320.6ms
[状态] SUCCESS

样例 2:批量推理 (batch_size=4)

输出(样例 2):

>>> 样例 2: 批量推理 (batch_size=4)
输入: batch 随机时间序列, shape=(4, 96)
输出: 批量预测, shape=(4, 720)
    序列0: 前5个值 = [0.1153, 0.1250, -0.1731, 0.0676, 0.1728]
    序列1: 前5个值 = [-0.2399, -0.1275, -0.1701, 0.1149, -0.3131]
    序列2: 前5个值 = [0.1211, 0.1448, -0.0112, 0.0429, -0.0551]
     推理耗时: 91.7ms
[状态] SUCCESS

样例 3:基准测试

输出(样例 3):

>>> 基准测试: 50次推理统计
  次数: 50
  平均: 84.2ms
  最小: 78.5ms
  最大: 89.0ms
  标准差: 3.9ms
  P50: 86.7ms
  P99: 88.7ms
[状态] SUCCESS

6. Agent适配截图

6.1 Agent 完整适配工作流

Agent 适配流程

6.2 NPU 设备调用日志

NPU 设备调用

6.3 模型适配结果

模型适配结果


7. 精度评测

7.1 评测配置

配置项值
数据集合成时序 (sinusoidal + Gaussian noise)
输入长度96
预测长度720
概率样本数10
随机种子42
设备Ascend910_9362 (npu:0)

7.2 评测指标

指标值说明
MSE1.162344均方误差
RMSE1.078120均方根误差
MAE0.934742平均绝对误差
CRPS0.853447连续排序概率分数 (经验估计, 始终 >= 0)
Norm RMSE0.3487归一化 RMSE (除以 GT range)
Norm MAE0.3023归一化 MAE
Sample Diversity0.140890概率样本标准差均值
GT Range3.0920Ground Truth 值域范围

7.3 分阶段误差

时间范围RMSEMAEDiversity
t=1~1201.15521.07950.1243
t=1~2401.06330.96570.1385
t=1~4801.07570.92350.1332
t=1~7201.07810.93470.1409

7.4 评测说明

  • CRPS 使用经验估计: CRPS = E|X-y| - 0.5*E|X-X'|,其中 X 和 X' 为独立预测样本,y 为 Ground Truth。该指标衡量概率预测的整体质量,越低越好。
  • Sample Diversity 衡量不同概率样本之间的差异,反映模型的不确定性估计能力。
  • 评测使用合成数据而非标准时序数据集 (如 ETT、Weather),因为 Sundial 的原始评测需要特定的数据预处理流程。

7.5 评测脚本

# 精度评测
python eval_precision.py \
    --model-path ./model \
    --device npu:0 \
    --input-len 96 \
    --pred-len 720 \
    --num-samples 10 \
    --seed 42

评测输出示例:

============================================================
[Status] SUCCESS
[Device] Ascend910_9362 (npu:0)
[Model] SundialForPrediction (128M params)
[Data] Synthetic (sinusoid + noise), input=96, pred=720
[Metrics] MSE=1.162344, MAE=0.934742, CRPS=0.853447
[Metrics] Norm RMSE=0.3487, Norm MAE=0.3023, Diversity=0.140890
[Time] Inference: 0.2281s
============================================================

8. NPU 配置说明

  • NPU 型号: Ascend910_9362
  • 设备数量: 2 卡(推理使用单卡)
  • CANN 版本: 8.5.1
  • 算子兼容性: HIGH — 所有算子均为 NPU 原生支持的标准 PyTorch 算子
  • 适配修改:
    • 修复 DynamicCache.get_usable_length() API 兼容性(transformers >= 4.50)
    • 修复 attention_mask 下采样以匹配 patch embedding 后的序列长度
    • 修复 revin 反归一化时的维度广播问题

9. 已知问题

无