| 依赖项 | 版本要求 | 说明 |
|---|---|---|
| Python | >= 3.10 | 推荐 3.11 |
| torch / torch_npu | 2.1.0+ | NPU 上需安装 torch_npu |
| toto2 / dd_unit_scaling | 官方源码包 | 随 libs 目录分发(inference.py 自动注入 sys.path) |
| unit_scaling / einops | 最新版 | u-μP 归一化与张量操作 |
| gluonts / pandas / numpy | 最新版 | 数据变换与序列处理 |
| huggingface_hub / safetensors | 最新版 | 权重加载 |
| matplotlib / Pillow | 最新版 | 结果可视化 |
| 昇腾驱动 | CANN 8.0.RC2+ | 推荐最新版 |
安装命令:
pip install --target /mnt/workspace/Toto-2.0-2.5B/libs -i https://pypi.tuna.tsinghua.edu.cn/simple unit_scaling einops gluonts jaxtyping pandas huggingface_hub safetensors numpy matplotlib pillow
# 官方代码包已随仓库预置到 libs/toto2 与 libs/dd_unit_scaling# 检查 NPU 设备
npu-smi info
# 权重已就位
ls /home/developer/models/Toto-2.0-2.5B/ # config.json model.safetensors README.mdPYTHONPATH=/mnt/workspace/Toto-2.0-2.5B/libs python3 inference.py --model_path /home/developer/models/Toto-2.0-2.5B| 参数 | 类型 | 默认值 | 说明 |
|---|---|---|---|
| --model_path | str | /home/developer/models/Toto-2.0-2.5B | 本地权重目录 |
| --device | str | 自动(npu > cuda > cpu) | 推理设备 |
| --horizon | int | 96 | 预测步数 |
| --context_length | int | 512 | 历史上下文长度 |
| --output | str | assets/model_result.png | 结果图保存路径 |
输入:
python3 inference.py --model_path /home/developer/models/Toto-2.0-2.5B输出:
[INFO] device = npu
[INFO] 模型加载完成 load_time=xx.xxs
[INFO] 推理完成 耗时/elapsed=x.xxs (context=512, horizon=96, device=npu)
[INFO] 输出分位数形状: (9, 1, 1, 96), 分位水平 [0.1..0.9]
[RESULT] status=ok device=npu 耗时/elapsed=x.xxs输入:
python3 inference.py --model_path /home/developer/models/Toto-2.0-2.5B --context_length 1024 --horizon 192输出:
[INFO] 推理完成 耗时/elapsed=x.xxs (context=1024, horizon=192, device=npu)
[INFO] 中位数预测 mean=..., 90%区间平均宽度=...
[RESULT] status=ok device=npu 耗时/elapsed=x.xxs


toto-models PyPI 包要求 Python>=3.12,当前环境为 3.11,故将 GitHub 官方源码包 toto2 与 dd_unit_scaling 以纯 Python 源码形式预置到 /mnt/workspace/Toto-2.0-2.5B/libs 分发,inference.py 开头自动注入 sys.path;PyTorchModelHubMixin.from_pretrained(本地路径) 加载本地 safetensors 权重,推理全程离线(HF_HUB_OFFLINE=1),仅从 --model_path 读取文件;