S
Solis_caser/Toto-2.0-313m-Ascend-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

Datadog / Toto-2.0-313m 昇腾 NPU 真实推理适配

在真实昇腾(Ascend 910, npu:0)上对 Toto-2.0-313m 官方权重执行概率时序预测 (forecast),验证模型、输入与输出全部位于 NPU,量化输出形状与数值均符合预期。

1. 模型与权重

项值
模型Datadog/Toto-2.0-313m
固定 revisiona7bab288f5e95f8606f8306f86659357e1c001ef
权重文件model/model.safetensors
文件大小1250763568 bytes
SHA2565ee6066497963cb904bf1324ab850661c3201bbb3406052459f1f792386aa2f9
权重来源https://ai.gitcode.com/hf_mirrors/Datadog/Toto-2.0-313m/resolve/a7bab288f5e95f8606f8306f86659357e1c001ef/
推理实现官方 Toto2Model(src_toto 固定 commit 44ea4e88852228039564aa3e76fac26aafac0803 的 toto2/ + dd_unit_scaling/)

权重下载后校验字节数与 SHA256 一致;推理脚本每次运行都会再次校验,任何不符即拒绝执行。

2. 运行环境

  • 硬件:昇腾 Ascend 910,npu:0
  • 系统:Linux aarch64,Python 3.11.14
  • 框架:torch 2.9.0+cpu + torch_npu 2.9.0.post1+gitee7ba04 + CANN 8.5.1 (共享环境已装,未升级,仅补齐缺失的运行时依赖)
  • 数据:经典 AirPassengers 月度乘客数序列(公开固定来源: Kaggle - Air Passengers),共 144 点

说明:Toto 2.0 是预训练概率预测基础模型,其输出为标准化的分位数预测 (asinh 归一化空间),非原始乘客数绝对量纲;npu_result.txt 中记录的是模型 输出的标准化分位数值,用于验证 NPU 上数值有限、形状正确。

3. 推理设置

  • 上下文:120 点(已观测)。Toto 以 patch_size=32 非重叠分片,官方 splitter 将 上下文补零对齐到 128 点,补齐位置 target_mask=false(不参与损失/推理)。
  • 预测长度(horizon):24 点
  • 分位数:[0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9],输出 [9, 1, 1, 24]
  • 模型/target/target_mask/series_ids 全部位于 npu:0
  • 多进程 NPU 串行:flock -x -w 1800 /tmp/ascend-model-agent-npu-v1.lock

4. 运行

flock -x -w 1800 /tmp/ascend-model-agent-npu-v1.lock python3 inference.py

成功后会写入唯一的 npu_result.txt(STATUS: SUCCESS),并打印关键断言结果。

5. 验证断言

  • 参数:全部在 npu:0
  • 输入 target/target_mask/series_ids:全部在 npu:0 且数值有限
  • 输出 quantiles:在 npu:0,dtype=float32,形状 [9, 1, 1, 24],数值有限

6. 产物

  • inference.py — 真实 NPU 推理脚本(含固定权重校验、AirPassengers 数据、断言)
  • requirements.txt — 最小依赖清单(不升级 torch/torch_npu/CANN)
  • npu_result.txt — 唯一成功结果文件
  • delivery/ — 精简交付目录(README.md、inference.py、requirements.txt、 npu_result.txt、assets/(3 张真实 NPU 证据截图),不含权重/源码/缓存)

7. 真实昇腾 NPU 截图

1. Model Agent 工作流

Model Agent 工作流

2. NPU 设备调用

NPU 设备调用

3. 真实模型结果

真实模型结果