Y
YYPGD/Toto-2.0-2.5B
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

Toto-2.0-2.5B 昇腾NPU部署文档

1. 模型简介

模型名称: Toto-2.0-2.5B(Datadog/Toto-2.0-2.5B) 模型链接: https://ai.gitcode.com/hf_mirrors/Datadog/Toto-2.0-2.5B 模型描述: Toto(Time Series Optimized Transformer for Observability)是 Datadog 开发的多变量时间序列基础模型家族,Toto 2.0 为当前世代,采用 u-μP 缩放从单一配方训练出 4m2.5B 五个规格。模型支持零样本(zero-shot)概率预测:输入任意历史序列,直接输出未来多个分位点(0.10.9)的预测值,在 BOOM、GIFT-Eval、TIME 三大基准上均取得基础模型 SOTA。 模型架构: 解码器-only 分块(patch)Transformer,注意力层在时间轴(因果)与变量轴(全量)间交替;Toto 2.0 引入连续分块掩码(CPM)单遍并行解码、分位数输出头(pinball loss 训练)、鲁棒 arcsinh 输入缩放器、残差 MLP 分块投影,并使用 RoPE-xPos 位置编码。 参数规模: 约 2.5B(model.safetensors 约 9.1GB)

2. 环境依赖

依赖项版本要求说明
Python>= 3.10推荐 3.11
torch / torch_npu2.1.0+NPU 上需安装 torch_npu
toto2 / dd_unit_scaling官方源码包随 libs 目录分发(inference.py 自动注入 sys.path)
unit_scaling / einops最新版u-μP 归一化与张量操作
gluonts / pandas / numpy最新版数据变换与序列处理
huggingface_hub / safetensors最新版权重加载
matplotlib / Pillow最新版结果可视化
昇腾驱动CANN 8.0.RC2+推荐最新版

安装命令:

pip install --target /mnt/workspace/Toto-2.0-2.5B/libs -i https://pypi.tuna.tsinghua.edu.cn/simple unit_scaling einops gluonts jaxtyping pandas huggingface_hub safetensors numpy matplotlib pillow
# 官方代码包已随仓库预置到 libs/toto2 与 libs/dd_unit_scaling

3. 推理步骤

3.1 环境准备

# 检查 NPU 设备
npu-smi info
# 权重已就位
ls /home/developer/models/Toto-2.0-2.5B/   # config.json model.safetensors README.md

3.2 运行推理

PYTHONPATH=/mnt/workspace/Toto-2.0-2.5B/libs python3 inference.py --model_path /home/developer/models/Toto-2.0-2.5B

3.3 推理参数说明

参数类型默认值说明
--model_pathstr/home/developer/models/Toto-2.0-2.5B本地权重目录
--devicestr自动(npu > cuda > cpu)推理设备
--horizonint96预测步数
--context_lengthint512历史上下文长度
--outputstrassets/model_result.png结果图保存路径

4. 测试样例及输出结果

样例 1:内置合成周期序列零样本预测(默认)

输入:

python3 inference.py --model_path /home/developer/models/Toto-2.0-2.5B

输出:

[INFO] device = npu
[INFO] 模型加载完成 load_time=xx.xxs
[INFO] 推理完成 耗时/elapsed=x.xxs (context=512, horizon=96, device=npu)
[INFO] 输出分位数形状: (9, 1, 1, 96), 分位水平 [0.1..0.9]
[RESULT] status=ok device=npu 耗时/elapsed=x.xxs

样例 2:自定义预测步长与上下文

输入:

python3 inference.py --model_path /home/developer/models/Toto-2.0-2.5B --context_length 1024 --horizon 192

输出:

[INFO] 推理完成 耗时/elapsed=x.xxs (context=1024, horizon=192, device=npu)
[INFO] 中位数预测 mean=..., 90%区间平均宽度=...
[RESULT] status=ok device=npu 耗时/elapsed=x.xxs

5. Agent适配截图

5.1 Agent适配全过程截图

Agent 适配流程

5.2 NPU设备调用截图

NPU 设备调用

5.3 模型适配结果截图

模型适配结果

6. 注意事项

  • 推理脚本通过 torch_npu 调用 NPU,设备自动选择 npu > cuda > cpu;
  • 官方推理代码 toto-models PyPI 包要求 Python>=3.12,当前环境为 3.11,故将 GitHub 官方源码包 toto2 与 dd_unit_scaling 以纯 Python 源码形式预置到 /mnt/workspace/Toto-2.0-2.5B/libs 分发,inference.py 开头自动注入 sys.path;
  • 模型通过 PyTorchModelHubMixin.from_pretrained(本地路径) 加载本地 safetensors 权重,推理全程离线(HF_HUB_OFFLINE=1),仅从 --model_path 读取文件;
  • 输入为 (batch, n_variates, time_steps) 的 float32 张量 + bool 观测掩码 + long 系列编号(NPU 计算全程 float32,无 float64 算子);注意力为标准实现(非 flash_attention_2);
  • 输出为形状 (9, batch, n_variates, horizon) 的分位数张量,分位水平 [0.1..0.9],第 5 行即中位数预测;
  • 如有精度差异请与官方 pipeline(DataDog/toto GitHub quick_start notebook)输出对比确认。