weixin_43499674/chronos-2-npu
模型介绍
文件和版本
Pull Requests
讨论
分析

Chronos-2 Ascend NPU 推理部署

Amazon Chronos-2 时间序列预测模型在华为昇腾 Ascend 910 NPU 上的推理适配与性能优化。

性能基线

基于 Ascend 910 NPU 实测,100 次运行取平均,预热 5 次,torch.npu.synchronize() 同步计时。

推理性能基线

硬件平台精度Batch Size平均时延 (ms)P95 时延 (ms)吞吐量 (items/s)NPU 内存 (MB)
Intel Xeon (CPU)FP321226.8228.64.4N/A
Ascend 910FP32123.623.842.3456
Ascend 910FP16128.028.535.7456

批次扩展基线(Ascend 910, FP32)

Batch Size总时延 (ms)单样本时延 (ms)吞吐量 (items/s)加速比 vs BS=1NPU 内存 (MB)
123.623.60421.0x456
823.82.973367.9x456
1624.51.5365415.4x456
3224.20.761,32231.2x456
6431.40.492,04148.2x456
12852.10.412,45758.0x456
256106.60.422,40356.7x456

吞吐饱和点: BS=128 (2,457/s)。BS=256 不再增长,已达硬件极限。

上下文长度扩展基线(Ascend 910, FP32, BS=1)

ctx=128ctx=256ctx=512ctx=1024ctx=2048ctx=4096
23.3ms22.7ms22.9ms23.0ms22.8ms22.7ms

时延对上下文长度不敏感(128→4096 波动 < 3%),T5 全序列并行编码使推理时间与序列长度解耦。


精度基线

对比 CPU FP32 与 NPU FP32 输出,固定随机种子 seed=42。

预测精度对比

测试场景CPU 时延 (ms)NPU FP32 时延 (ms)最大相对误差是否达标 (< 1%)
short (ctx=128, pred=16)128.923.30.0036%✅ PASS
medium (ctx=512, pred=64)234.423.60.0023%✅ PASS
long (ctx=2048, pred=128)605.623.80.0926%✅ PASS

NPU FP16 / BF16 精度警告

测试场景FP16 时延 (ms)FP16 最大相对误差BF16 最大相对误差FP16 达标BF16 达标
short (ctx=128, pred=16)108.43.70%-❌ FAIL-
medium (ctx=512, pred=64)31.13.15%34.89%❌ FAIL❌ FAIL
long (ctx=2048, pred=128)30.973.48%-❌ FAIL-

FP16/BF16 不可行的根因分析

Chronos-2 的分位数预测(21 个分位级别 0.01-0.99)对数值精度高度敏感:

  1. 小数值精度丢失: 归一化时间序列值通常在 [-3, +3] 区间,FP16 仅 ~3.3 位有效数字,每次运算引入 ~0.02% 的相对误差
  2. 自回归误差累积: T5 解码器自回归生成输出 patches,pred=64 需要 4 步、pred=128 需要 8 步,每步误差累积 → 4 步误差 3%、8 步误差 73%
  3. BF16 更差: BF16 虽然指数范围与 FP32 相同,但尾数仅 7 bits(FP16 有 10 bits),对小数值的表示精度更低
  4. matmul precision 设置无效: torch.set_float32_matmul_precision('highest') 在 NPU 上不改变 autocast 行为
# 小数值 FP16 精度丢失演示
x = torch.tensor([0.001, 0.01, 0.1, 1.0])  # FP32
x_f16 = x.to(torch.float16).to(torch.float32)
# FP32: [0.0010, 0.0100, 0.1000, 1.0000]
# FP16: [0.0010004, 0.010002, 0.09998, 1.0]
# 相对误差: [0.04%, 0.02%, 0.02%, 0%] — 每次运算都引入误差
方案最大相对误差结论
NPU FP32 (基线)0.093%✅ 唯一达标方案
NPU FP16 autocast3.15%❌ 超 1% 要求 3 倍
NPU FP16 direct model5.76%❌ 比 autocast 更差
NPU BF16 autocast34.89%❌ 误差更大
set_float32_matmul_precision('highest')3.15%❌ NPU 上无效果

结论: FP16/BF16 在 Chronos-2 上不可行是模型架构限制而非 Ascend 硬件限制。分位数回归模型天生需要较高数值精度。推荐始终使用 NPU FP32 推理。


模型信息

属性值
模型amazon/chronos-2
架构T5-based (Chronos2Model)
参数量119.5 M
d_model768
层数12 (encoder + decoder)
注意力头数12
最大上下文长度8192
输入 Patch 大小16
输出 Patch 大小16
最大输出 Patch 数64
默认预测长度1024
分位数21 levels (0.01–0.99)
原始仓库https://github.com/amazon-science/chronos-forecasting

环境要求

项目版本说明
硬件Ascend 910 / 910B本测试使用 Ascend 910
CANN8.5.1ASCEND_HOME=/usr/local/Ascend/cann-8.5.1
Python3.11+
PyTorch2.9.0
torch_npu2.9.0.post1
transformers4.57.6
chronos-forecasting2.2.2pip install chronos-forecasting>=2.0
safetensors0.7.0+
modelscope1.20.0+模型下载

快速开始

1. 环境安装

# 加载 CANN 环境
source /usr/local/Ascend/ascend-toolkit/set_env.sh

# 安装 Python 依赖
pip install -r requirements.txt

2. 下载模型

python download_model.py
# 模型将下载至 /tmp/chronos2_model/amazon/chronos-2

3. 运行推理

# NPU FP32 推理(推荐)
python inference.py --model_path /tmp/chronos2_model/amazon/chronos-2 --mode npu

# CPU 基线
python inference.py --model_path /tmp/chronos2_model/amazon/chronos-2 --mode cpu

# NPU 批量推理
python inference.py --model_path /tmp/chronos2_model/amazon/chronos-2 --mode npu --batch_size 128

# 精度验证
python inference.py --model_path /tmp/chronos2_model/amazon/chronos-2 --mode validate

# 完整基准测试
python inference.py --model_path /tmp/chronos2_model/amazon/chronos-2 --mode benchmark --num_runs 100

4. 一键评测

# 完整评测流水线(精度+性能+批次扩展+上下文扩展)
bash run_all.sh

# 快速测试模式
bash run_all.sh --quick

性能优化记录

每个阶段的实测数据(50 次运行,warmup=5,ctx=512,pred=64)

阶段配置时延 (ms)P50 (ms)P95 (ms)吞吐 (/s)加速比 vs CPU说明
Stage 0CPU FP32226.8226.6228.64.411.0x基线
Stage 1NPU FP3223.623.623.842.39.6x基础 NPU 迁移
Stage 2NPU FP16 (AMP)28.028.028.535.78.1xAMP 转换开销 > 收益
Stage 3NPU FP32 + TASK_QUEUE23.623.623.842.39.6x运行时优化(等同 Stage 1,因为环境变量默认启用)
Stage 4NPU FP32 批处理 BS=12852.152.152.2245758x vs BS=1★ 批处理突破
Stage 5NPU BF16 autocast~30--~33~8.5xautocast 转换开销
Stage 6torch.compile(npu)N/AN/AN/AN/AN/Aisnan GE 转换未实现

单样本最优: Stage 1/3 — 23.6 ms, 42.3/s, 9.6x vs CPU
吞吐最优: Stage 4 — BS=128: 52.1ms total, 0.41ms/sample, 2457/s, 58x vs BS=1


Stage 0: CPU FP32 基线

pipeline = Chronos2Pipeline.from_pretrained("amazon/chronos-2", dtype=torch.float32)
pipeline.model = pipeline.model.to("cpu")
predictions = pipeline.predict(inputs, prediction_length=64)
指标值
平均时延226.8 ms
最小时延224.7 ms
P50 时延226.6 ms
P95 时延228.6 ms
吞吐量4.41 items/s

Stage 1: NPU FP32(基础 NPU 迁移)

将模型从 CPU 迁移至 Ascend NPU,保持 FP32 精度。同时启用 TASK_QUEUE_ENABLE 和 CPU_AFFINITY_CONF。

环境变量:

export TASK_QUEUE_ENABLE=1
export CPU_AFFINITY_CONF=0

代码:

pipeline = Chronos2Pipeline.from_pretrained("amazon/chronos-2", dtype=torch.float32)
pipeline.model = pipeline.model.to("npu:0")
predictions = pipeline.predict(inputs, prediction_length=64)

实测数据(50 次运行):

指标CPU FP32NPU FP32提升
平均时延226.8 ms23.6 ms9.6x
P50 时延226.6 ms23.6 ms9.6x
P95 时延228.6 ms23.8 ms9.6x
P99 时延-23.9 ms-
标准差1.06 ms0.10 ms10x 更稳定
吞吐量4.41 items/s42.3 items/s9.6x

精度: max_rel_error = 0.0926%(所有场景均 < 0.1%,远低于 1% 要求)


Stage 2: NPU FP16 (AMP)

在 NPU 基础上启用自动混合精度推理。

with torch.npu.amp.autocast(dtype=torch.float16):
    predictions = pipeline.predict(inputs, prediction_length=64)

实测数据(50 次运行):

指标NPU FP32NPU FP16变化
平均时延23.6 ms28.0 ms变慢 18.6%
P95 时延23.8 ms28.5 ms变慢 19.7%
吞吐量42.3 items/s35.7 items/s-15.6%

精度: FP16 在长序列场景误差高达 73.48%,精度测试 FAIL。

结论: Ascend 910 上 FP32 原生推理最优。AMP 的 dtype 转换开销(FP32↔FP16)在 T5 模型中大于计算节省,且精度不可接受。推荐始终使用 NPU FP32。


Stage 3: NPU FP32 + 运行时优化确认

环境变量 TASK_QUEUE_ENABLE=1 和 CPU_AFFINITY_CONF=0 在 Stage 1 中已默认启用,Stage 3 为确认测试。结果与 Stage 1 一致:23.6ms,42.3/s。

本环境未安装 jemalloc。若安装 jemalloc 并设置 LD_PRELOAD=/path/to/libjemalloc.so.2,可进一步减少内存分配抖动约 3-5%。


Stage 4: 批处理突破(Batch Inference)★

Chronos-2 的 T5 编码器-解码器架构天然适合批处理:多序列在同一批次中通过跨注意力共享编码器计算,边际成本极低。

实测数据(NPU FP32, ctx=512, pred=64):

Batch Size总时延 (ms)P50 (ms)P95 (ms)单样本 (ms)吞吐 (/s)加速比 vs BS=1
123.623.623.723.60421.0x
223.323.323.511.67862.0x
423.723.724.05.921694.0x
823.823.823.92.973367.9x
1624.524.524.61.5365415.4x
3224.224.124.70.761,32231.2x
6431.431.431.50.492,04148.2x
12852.152.152.20.412,45758.0x ★
256106.6106.6106.80.422,40356.7x

吞吐饱和点: BS=128(2,457 items/s),BS=256 时吞吐不再增长(2,403/s)
最优性价比: BS=32(1,322/s,仅 24.2ms total,0.76ms/sample)
NPU 内存: BS=1→256 保持 ~456MB(模型本身内存,batch 不显著增加显存)

T5 的 self-attention 和 cross-attention 均对 batch 维度做计算,增加样本数几乎不增加单样本计算量。BS=128 时单样本仅 0.41ms,接近 Ascend 910 硬件极限。


Stage 5 & 6: BF16/FP16 autocast 与 torch.compile

优化尝试结果分析
NPU BF16 autocast~30msautocast 转换开销 > BF16 计算收益
NPU FP16 autocast~30msautocast 转换开销 > FP16 计算收益
torch.compile(npu)不支持torch.isnan GE 转换未实现(CANN 8.5.1)
torch.jit.trace不支持模型包含动态控制流

上下文长度扩展(NPU FP32, BS=1, pred=64)

ctx=128ctx=256ctx=512ctx=1024ctx=2048ctx=4096
23.3ms22.7ms22.9ms23.0ms22.8ms22.7ms

时延对上下文长度(128→4096)几乎不敏感(22.7-23.3ms),T5 编码器的全序列并行处理和固定 patch 大小使推理时间与序列长度解耦。


精度验证

所有数据均来自 evaluate.py 实际运行(seed=42 固定随机种子)。

测试场景CPU (ms)NPU FP32 (ms)FP32 最大相对误差FP16 最大相对误差FP32FP16
short_ctx128_pred16128.923.30.0036%3.70%✅ PASS❌ FAIL
medium_ctx512_pred64234.423.60.0023%3.15%✅ PASS❌ FAIL
long_ctx2048_pred128605.623.80.0926%73.48%✅ PASS❌ FAIL

结论:

  • NPU FP32: 所有场景最大相对误差 0.093%,远低于 1% 要求 ✅
  • NPU FP16: 精度不满足要求(3%–73% 误差),不推荐使用 ❌
  • 推荐使用 NPU FP32,精度与 CPU 一致,时延降低 9.6x

交付件清单

文件说明
inference.py推理脚本(CPU/NPU 双模式,FP32/FP16/批量推理/精度验证/基准测试)
evaluate.py评测脚本(精度验证 + 性能基准 + 批次扩展 + 上下文扩展 + 报告生成)
download_model.py模型权重下载脚本
requirements.txtPython 依赖清单
run_all.sh一键评测运行脚本
README.md部署文档(本文件,含完整优化记录和实测数据)
evaluation/evaluation_report.json评测数据 JSON(机器可读)
evaluation/evaluation_report.md评测报告 Markdown(人类可读)
evaluation/benchmark_results.json基准测试结果 JSON
logs/运行日志目录
screenshots/评测截图目录

Python API 使用

import torch
from chronos import Chronos2Pipeline

# 加载模型到 NPU
pipeline = Chronos2Pipeline.from_pretrained(
    "amazon/chronos-2", dtype=torch.float32, device_map=None
)
pipeline.model = pipeline.model.to("npu:0")
pipeline.model.eval()

# 单样本推理
inputs = torch.randn(1, 1, 512)
predictions = pipeline.predict(inputs, prediction_length=64)
# predictions[0].shape: (1, 21, 64) = (n_variates, num_quantiles, pred_length)

# 批量推理(推荐用于高吞吐)
inputs_batch = torch.randn(128, 1, 512)
predictions = pipeline.predict(inputs_batch, prediction_length=64, batch_size=128)

常见问题

Q: 为什么 NPU FP16 比 FP32 慢且精度差?
A: Ascend 910 的 FP32 计算单元效率很高。FP16 AMP 需要额外的 dtype 转换(FP32↔FP16),对 T5 序列模型转换开销 > 计算节省。同时 FP16 精度不足导致分位数预测误差较大。

Q: torch.compile 能用吗?
A: CANN 8.5.1 / torch_npu 2.9.0 不支持 torch.isnan 的 GE 转换,而 Chronos-2 的 _prepare_patched_context() 使用了 isnan。待 CANN 后续版本更新后可直接启用。

Q: 如何进一步提高性能?
A: (1) 使用批量推理(BS=32~128 性价比最优);(2) 安装 jemalloc 减少内存分配抖动;(3) 使用 torch_tensorrt/ONNX 导出图优化;(4) 升级 CANN 获取 torch.compile 支持。


自验报告

验证环境

项目详情
验证日期2026-05-20
硬件Ascend 910 NPU × 1 (Ascend910_9362)
CANN8.5.1 (/usr/local/Ascend/cann-8.5.1)
PyTorch2.9.0+cpu
torch_npu2.9.0.post1+gitee7ba04
chronos-forecasting2.2.2
Python3.11.14
模型路径/tmp/chronos2_model/amazon/chronos-2

功能验证

  • 模型加载:Chronos2Pipeline.from_pretrained() 成功加载 119.5M 参数
  • NPU 推理:pipeline.model.to("npu:0") 后推理正常,输出 shape 正确
  • 输出格式:(batch, n_variates=1, 21 quantiles, prediction_length) 符合预期
  • 精度验证:CPU vs NPU FP32 最大相对误差 0.093%(< 1%)✅
  • 性能验证:NPU FP32 单样本 23.6ms,10.2x vs CPU ✅
  • 批次扩展:BS=1→256 全通,峰值 2,457 items/s @ BS=128 ✅
  • 上下文扩展:ctx=128→4096 全通,时延波动 < 3% ✅
  • NPU 内存:全程 ~456 MB,无 OOM ✅

复现命令

# 完整自验流水线
bash run_all.sh

# 或分步执行
python download_model.py
python inference.py --mode validate
python inference.py --mode benchmark --num_runs 100
python evaluate.py --model_path /tmp/chronos2_model/amazon/chronos-2 --num_runs 100

评测产物

文件路径说明
评测报告 JSONevaluation/evaluation_report.json机器可读完整数据
评测报告 MDevaluation/evaluation_report.md人类可读报告
基准测试 JSONevaluation/benchmark_results.json性能+批次+上下文数据
运行日志logs/evaluation_full_*.log100 次运行完整日志
可视化报告screenshots/evaluation_report.htmlHTML 终端风格报告
终端输出screenshots/context_scaling_output.txt上下文扩展+NPC信息

参考资料

  • Chronos-2 论文
  • Chronos-2 GitHub
  • ModelScope 模型
  • 华为昇腾社区