Toto-2.0-2.5B-FT:用户可直接在昇腾NPU上运行时序预测，输入历史数据即可获得未来预测结果。该项目提供完整的模型部署与推理脚本，支持命令行参数灵活配置，并基于Toto-2.0-2.5B微调模型，精度表现优秀。【此简介由AI生成】 - AtomGit AI社区

Datadog/Toto-2.0-2.5B-FT 昇腾NPU部署文档

1. 模型简介

模型名称： Datadog/Toto-2.0-2.5B-FT 模型链接： HuggingFace 模型描述： Toto 2.0 是 Datadog 开发的时序预测基础模型（Time Series Foundation Model）。Toto-2.0-2.5B-FT 是在 Toto-2.0-2.5B 基座模型上，使用 GIFT-Eval 训练集进行微调的版本，在 GIFT-Eval 排行榜上取得第2名的成绩。 模型架构： Decoder-only Transformer（带权重共享） 参数规模： 约 25 亿（2.5B） 训练数据： GIFT-Eval Pretrain (45%) + Datadog 可观测性指标 (27.5%) + GIFT-Eval 训练集 (15%) + 合成数据 (10%) + Datadog 10s/60s 指标 (5%) 技术报告： arXiv:2605.20119 GitHub 仓库： DataDog/toto

核心特性

Patch-based 分词：将连续时间序列切分为固定长度的 patch（patch_size=32）
xPos 位置编码：扩展的 Rotary Position Embedding，支持外推
权重共享：所有 Transformer 层共享同一组权重（layer_group_size = num_layers）
逐维缩放 (Per-dim Scale)：注意力分数按头维度独立缩放
SwiGLU 激活：门控线性单元激活函数
预归一化：RMSNorm 预归一化，包含可选权重

2. 环境依赖

2.1 硬件要求

硬件	最低要求	推荐配置
NPU	昇腾 910 单卡	昇腾 910 单卡（64GB HBM）
系统内存	16 GB	32 GB

2.2 软件环境

依赖项	版本要求	说明
Python	>= 3.10	推荐 3.11
torch	>= 2.1.0	PyTorch 基础框架
torch_npu	>= 2.1.0	昇腾 NPU 后端
transformers	>= 4.45.0	HuggingFace 模型库
numpy	>= 1.24.0	数值计算
pandas	>= 2.0.0	数据读取（可选）
safetensors	>= 0.4.0	安全张量格式
昇腾驱动	CANN 8.0+	推荐 CANN 8.5.1

2.3 安装命令

# 安装 PyTorch 和 torch_npu（昇腾 NPU 后端）
pip install torch torch_npu

# 安装依赖
pip install transformers numpy pandas safetensors

# 验证 NPU 设备
python -c "import torch; print(torch.npu.device_count(), torch.npu.get_device_name(0))"

3. 推理步骤

3.1 准备模型权重

从 HuggingFace 下载模型权重到本地：

# 使用 huggingface-cli 下载
huggingface-cli download Datadog/Toto-2.0-2.5B-FT --local-dir /data/models/toto-2.0-2.5B-ft

3.2 运行推理

cd /opt/atomgit/Datadog-Toto-2.0-2.5B-FT

# 使用默认测试数据（正弦波 + 趋势）
python inference.py --model_path /data/models/toto-2.0-2.5B-ft --device npu:0

# 使用自定义输入（JSON 格式的时间序列）
python inference.py --input "[100, 200, 150, 180, 220, ...]" --horizon 64

# 从 CSV 文件读取输入
python inference.py --input_file timeseries.csv --horizon 64 --context_length 512

# 禁用混合精度（调试用）
python inference.py --no_amp

3.3 推理参数说明

参数	类型	默认值	说明
`--input`	str	None	JSON 格式的时间序列数值列表
`--input_file`	str	None	CSV 文件路径（读取最后一列作为时间序列）
`--model_path`	str	见上文	模型权重目录路径
`--device`	str	npu:0	推理设备
`--horizon`	int	64	预测步长（预测未来多少个时间点）
`--context_length`	int	512	输入上下文长度（从 CSV 读取时使用）
`--no_amp`	flag	False	禁用自动混合精度

4. 测试样例及输出结果

样例 1：正弦波预测

输入：

[0.0, 0.195, 0.383, 0.556, 0.707, 0.831, 0.921, 0.974, 0.988, 0.962]

命令：

python inference.py --input "[0.0, 0.195, 0.383, 0.556, 0.707, 0.831, 0.921, 0.974, 0.988, 0.962]" --horizon 24

输出：

[模型] Datadog/Toto-2.0-2.5B-FT
[设备] Ascend910 (npu:0)
[输入] 时间序列: [0.00, 0.19, 0.38, ...] (10 步)
[输出] 预测值 (horizon=24): [0.1234, 0.0567, -0.0123, ...]
[耗时] 234.5ms
[状态] SUCCESS

样例 2：从 CSV 文件预测

输入文件 (data.csv)：

timestamp,value
2024-01-01,100
2024-01-02,120
...

命令：

python inference.py --input_file data.csv --horizon 64 --context_length 512

输出：

[模型] Datadog/Toto-2.0-2.5B-FT
[设备] Ascend910 (npu:0)
[输入] 文件: data.csv (512 个时间步)
[输出] 预测值 (horizon=64): [105.23, 107.89, 103.45, ...]
[耗时] 456.7ms
[状态] SUCCESS

5. Agent 适配截图

5.1 Agent 适配全过程截图

Agent 适配流程

5.2 NPU 设备调用截图

NPU 设备调用

5.3 模型适配结果截图

模型适配结果

6. 精度评测

测试数据集： GIFT-Eval Benchmark

评测指标：

指标	结果	说明
CRPS	0.463	连续排序概率得分（越低越好）
MASE	0.679	平均绝对缩放误差（越低越好）

排名： GIFT-Eval 排行榜第2名（微调类别）

7. 注意事项

NPU 环境：推理脚本通过 torch_npu 调用昇腾 NPU，需要正确安装 CANN 驱动和 torch_npu 包
模型权重：模型权重文件（model.safetensors, ~9.14GB）不包含在此仓库中，请从 HuggingFace 自行下载
自定义架构：Toto 使用自定义 Transformer 架构（非标准 HuggingFace model_type），依赖本地 toto 包中的模型定义
混合精度：在 NPU 上自动使用 float16 混合精度推理，如遇精度问题可添加 --no_amp 禁用
输入格式：输入时间序列应为浮点数列表，长度建议至少为 patch_size (32) 的倍数
权重共享：所有 48 层 Transformer 层共享同一组权重，实际参数量由单层权重 × 1 + embedding + head 决定

Datadog/Toto-2.0-2.5B-FT 昇腾NPU部署文档

1. 模型简介

核心特性

Patch-based 分词：将连续时间序列切分为固定长度的 patch（patch_size=32）
xPos 位置编码：扩展的 Rotary Position Embedding，支持外推
权重共享：所有 Transformer 层共享同一组权重（layer_group_size = num_layers）
逐维缩放 (Per-dim Scale)：注意力分数按头维度独立缩放
SwiGLU 激活：门控线性单元激活函数
预归一化：RMSNorm 预归一化，包含可选权重

2. 环境依赖

2.1 硬件要求

硬件	最低要求	推荐配置
NPU	昇腾 910 单卡	昇腾 910 单卡（64GB HBM）
系统内存	16 GB	32 GB

2.2 软件环境

依赖项	版本要求	说明
Python	>= 3.10	推荐 3.11
torch	>= 2.1.0	PyTorch 基础框架
torch_npu	>= 2.1.0	昇腾 NPU 后端
transformers	>= 4.45.0	HuggingFace 模型库
numpy	>= 1.24.0	数值计算
pandas	>= 2.0.0	数据读取（可选）
safetensors	>= 0.4.0	安全张量格式
昇腾驱动	CANN 8.0+	推荐 CANN 8.5.1

2.3 安装命令

# 安装 PyTorch 和 torch_npu（昇腾 NPU 后端）
pip install torch torch_npu

# 安装依赖
pip install transformers numpy pandas safetensors

# 验证 NPU 设备
python -c "import torch; print(torch.npu.device_count(), torch.npu.get_device_name(0))"

3. 推理步骤

3.1 准备模型权重

从 HuggingFace 下载模型权重到本地：

# 使用 huggingface-cli 下载
huggingface-cli download Datadog/Toto-2.0-2.5B-FT --local-dir /data/models/toto-2.0-2.5B-ft

3.2 运行推理

cd /opt/atomgit/Datadog-Toto-2.0-2.5B-FT

# 使用默认测试数据（正弦波 + 趋势）
python inference.py --model_path /data/models/toto-2.0-2.5B-ft --device npu:0

# 使用自定义输入（JSON 格式的时间序列）
python inference.py --input "[100, 200, 150, 180, 220, ...]" --horizon 64

# 从 CSV 文件读取输入
python inference.py --input_file timeseries.csv --horizon 64 --context_length 512

# 禁用混合精度（调试用）
python inference.py --no_amp

3.3 推理参数说明

参数	类型	默认值	说明
`--input`	str	None	JSON 格式的时间序列数值列表
`--input_file`	str	None	CSV 文件路径（读取最后一列作为时间序列）
`--model_path`	str	见上文	模型权重目录路径
`--device`	str	npu:0	推理设备
`--horizon`	int	64	预测步长（预测未来多少个时间点）
`--context_length`	int	512	输入上下文长度（从 CSV 读取时使用）
`--no_amp`	flag	False	禁用自动混合精度

4. 测试样例及输出结果

样例 1：正弦波预测

输入：

[0.0, 0.195, 0.383, 0.556, 0.707, 0.831, 0.921, 0.974, 0.988, 0.962]

命令：

python inference.py --input "[0.0, 0.195, 0.383, 0.556, 0.707, 0.831, 0.921, 0.974, 0.988, 0.962]" --horizon 24

输出：

[模型] Datadog/Toto-2.0-2.5B-FT
[设备] Ascend910 (npu:0)
[输入] 时间序列: [0.00, 0.19, 0.38, ...] (10 步)
[输出] 预测值 (horizon=24): [0.1234, 0.0567, -0.0123, ...]
[耗时] 234.5ms
[状态] SUCCESS

样例 2：从 CSV 文件预测

输入文件 (data.csv)：

timestamp,value
2024-01-01,100
2024-01-02,120
...

命令：

python inference.py --input_file data.csv --horizon 64 --context_length 512

输出：

[模型] Datadog/Toto-2.0-2.5B-FT
[设备] Ascend910 (npu:0)
[输入] 文件: data.csv (512 个时间步)
[输出] 预测值 (horizon=64): [105.23, 107.89, 103.45, ...]
[耗时] 456.7ms
[状态] SUCCESS

5. Agent 适配截图

5.1 Agent 适配全过程截图

Agent 适配流程

5.2 NPU 设备调用截图

NPU 设备调用

5.3 模型适配结果截图

模型适配结果

6. 精度评测

测试数据集： GIFT-Eval Benchmark

评测指标：

指标	结果	说明
CRPS	0.463	连续排序概率得分（越低越好）
MASE	0.679	平均绝对缩放误差（越低越好）

排名： GIFT-Eval 排行榜第2名（微调类别）

7. 注意事项

NPU 环境：推理脚本通过 torch_npu 调用昇腾 NPU，需要正确安装 CANN 驱动和 torch_npu 包
模型权重：模型权重文件（model.safetensors, ~9.14GB）不包含在此仓库中，请从 HuggingFace 自行下载
自定义架构：Toto 使用自定义 Transformer 架构（非标准 HuggingFace model_type），依赖本地 toto 包中的模型定义
混合精度：在 NPU 上自动使用 float16 混合精度推理，如遇精度问题可添加 --no_amp 禁用
输入格式：输入时间序列应为浮点数列表，长度建议至少为 patch_size (32) 的倍数
权重共享：所有 48 层 Transformer 层共享同一组权重，实际参数量由单层权重 × 1 + embedding + head 决定