Amazon Chronos-2 时间序列预测模型在华为昇腾 Ascend 910 NPU 上的推理适配与性能优化。
基于 Ascend 910 NPU 实测,100 次运行取平均,预热 5 次,torch.npu.synchronize() 同步计时。
| 硬件平台 | 精度 | Batch Size | 平均时延 (ms) | P95 时延 (ms) | 吞吐量 (items/s) | NPU 内存 (MB) |
|---|---|---|---|---|---|---|
| Intel Xeon (CPU) | FP32 | 1 | 226.8 | 228.6 | 4.4 | N/A |
| Ascend 910 | FP32 | 1 | 23.6 | 23.8 | 42.3 | 456 |
| Ascend 910 | FP16 | 1 | 28.0 | 28.5 | 35.7 | 456 |
| Batch Size | 总时延 (ms) | 单样本时延 (ms) | 吞吐量 (items/s) | 加速比 vs BS=1 | NPU 内存 (MB) |
|---|---|---|---|---|---|
| 1 | 23.6 | 23.60 | 42 | 1.0x | 456 |
| 8 | 23.8 | 2.97 | 336 | 7.9x | 456 |
| 16 | 24.5 | 1.53 | 654 | 15.4x | 456 |
| 32 | 24.2 | 0.76 | 1,322 | 31.2x | 456 |
| 64 | 31.4 | 0.49 | 2,041 | 48.2x | 456 |
| 128 | 52.1 | 0.41 | 2,457 | 58.0x | 456 |
| 256 | 106.6 | 0.42 | 2,403 | 56.7x | 456 |
吞吐饱和点: BS=128 (2,457/s)。BS=256 不再增长,已达硬件极限。
| ctx=128 | ctx=256 | ctx=512 | ctx=1024 | ctx=2048 | ctx=4096 |
|---|---|---|---|---|---|
| 23.3ms | 22.7ms | 22.9ms | 23.0ms | 22.8ms | 22.7ms |
时延对上下文长度不敏感(128→4096 波动 < 3%),T5 全序列并行编码使推理时间与序列长度解耦。
对比 CPU FP32 与 NPU FP32 输出,固定随机种子 seed=42。
| 测试场景 | CPU 时延 (ms) | NPU FP32 时延 (ms) | 最大相对误差 | 是否达标 (< 1%) |
|---|---|---|---|---|
| short (ctx=128, pred=16) | 128.9 | 23.3 | 0.0036% | ✅ PASS |
| medium (ctx=512, pred=64) | 234.4 | 23.6 | 0.0023% | ✅ PASS |
| long (ctx=2048, pred=128) | 605.6 | 23.8 | 0.0926% | ✅ PASS |
| 测试场景 | FP16 时延 (ms) | FP16 最大相对误差 | BF16 最大相对误差 | FP16 达标 | BF16 达标 |
|---|---|---|---|---|---|
| short (ctx=128, pred=16) | 108.4 | 3.70% | - | ❌ FAIL | - |
| medium (ctx=512, pred=64) | 31.1 | 3.15% | 34.89% | ❌ FAIL | ❌ FAIL |
| long (ctx=2048, pred=128) | 30.9 | 73.48% | - | ❌ FAIL | - |
Chronos-2 的分位数预测(21 个分位级别 0.01-0.99)对数值精度高度敏感:
torch.set_float32_matmul_precision('highest') 在 NPU 上不改变 autocast 行为# 小数值 FP16 精度丢失演示
x = torch.tensor([0.001, 0.01, 0.1, 1.0]) # FP32
x_f16 = x.to(torch.float16).to(torch.float32)
# FP32: [0.0010, 0.0100, 0.1000, 1.0000]
# FP16: [0.0010004, 0.010002, 0.09998, 1.0]
# 相对误差: [0.04%, 0.02%, 0.02%, 0%] — 每次运算都引入误差| 方案 | 最大相对误差 | 结论 |
|---|---|---|
| NPU FP32 (基线) | 0.093% | ✅ 唯一达标方案 |
| NPU FP16 autocast | 3.15% | ❌ 超 1% 要求 3 倍 |
| NPU FP16 direct model | 5.76% | ❌ 比 autocast 更差 |
| NPU BF16 autocast | 34.89% | ❌ 误差更大 |
set_float32_matmul_precision('highest') | 3.15% | ❌ NPU 上无效果 |
结论: FP16/BF16 在 Chronos-2 上不可行是模型架构限制而非 Ascend 硬件限制。分位数回归模型天生需要较高数值精度。推荐始终使用 NPU FP32 推理。
| 属性 | 值 |
|---|---|
| 模型 | amazon/chronos-2 |
| 架构 | T5-based (Chronos2Model) |
| 参数量 | 119.5 M |
| d_model | 768 |
| 层数 | 12 (encoder + decoder) |
| 注意力头数 | 12 |
| 最大上下文长度 | 8192 |
| 输入 Patch 大小 | 16 |
| 输出 Patch 大小 | 16 |
| 最大输出 Patch 数 | 64 |
| 默认预测长度 | 1024 |
| 分位数 | 21 levels (0.01–0.99) |
| 原始仓库 | https://github.com/amazon-science/chronos-forecasting |
| 项目 | 版本 | 说明 |
|---|---|---|
| 硬件 | Ascend 910 / 910B | 本测试使用 Ascend 910 |
| CANN | 8.5.1 | ASCEND_HOME=/usr/local/Ascend/cann-8.5.1 |
| Python | 3.11+ | |
| PyTorch | 2.9.0 | |
| torch_npu | 2.9.0.post1 | |
| transformers | 4.57.6 | |
| chronos-forecasting | 2.2.2 | pip install chronos-forecasting>=2.0 |
| safetensors | 0.7.0+ | |
| modelscope | 1.20.0+ | 模型下载 |
# 加载 CANN 环境
source /usr/local/Ascend/ascend-toolkit/set_env.sh
# 安装 Python 依赖
pip install -r requirements.txtpython download_model.py
# 模型将下载至 /tmp/chronos2_model/amazon/chronos-2# NPU FP32 推理(推荐)
python inference.py --model_path /tmp/chronos2_model/amazon/chronos-2 --mode npu
# CPU 基线
python inference.py --model_path /tmp/chronos2_model/amazon/chronos-2 --mode cpu
# NPU 批量推理
python inference.py --model_path /tmp/chronos2_model/amazon/chronos-2 --mode npu --batch_size 128
# 精度验证
python inference.py --model_path /tmp/chronos2_model/amazon/chronos-2 --mode validate
# 完整基准测试
python inference.py --model_path /tmp/chronos2_model/amazon/chronos-2 --mode benchmark --num_runs 100# 完整评测流水线(精度+性能+批次扩展+上下文扩展)
bash run_all.sh
# 快速测试模式
bash run_all.sh --quick| 阶段 | 配置 | 时延 (ms) | P50 (ms) | P95 (ms) | 吞吐 (/s) | 加速比 vs CPU | 说明 |
|---|---|---|---|---|---|---|---|
| Stage 0 | CPU FP32 | 226.8 | 226.6 | 228.6 | 4.41 | 1.0x | 基线 |
| Stage 1 | NPU FP32 | 23.6 | 23.6 | 23.8 | 42.3 | 9.6x | 基础 NPU 迁移 |
| Stage 2 | NPU FP16 (AMP) | 28.0 | 28.0 | 28.5 | 35.7 | 8.1x | AMP 转换开销 > 收益 |
| Stage 3 | NPU FP32 + TASK_QUEUE | 23.6 | 23.6 | 23.8 | 42.3 | 9.6x | 运行时优化(等同 Stage 1,因为环境变量默认启用) |
| Stage 4 | NPU FP32 批处理 BS=128 | 52.1 | 52.1 | 52.2 | 2457 | 58x vs BS=1 | ★ 批处理突破 |
| Stage 5 | NPU BF16 autocast | ~30 | - | - | ~33 | ~8.5x | autocast 转换开销 |
| Stage 6 | torch.compile(npu) | N/A | N/A | N/A | N/A | N/A | isnan GE 转换未实现 |
单样本最优: Stage 1/3 — 23.6 ms, 42.3/s, 9.6x vs CPU
吞吐最优: Stage 4 — BS=128: 52.1ms total, 0.41ms/sample, 2457/s, 58x vs BS=1
pipeline = Chronos2Pipeline.from_pretrained("amazon/chronos-2", dtype=torch.float32)
pipeline.model = pipeline.model.to("cpu")
predictions = pipeline.predict(inputs, prediction_length=64)| 指标 | 值 |
|---|---|
| 平均时延 | 226.8 ms |
| 最小时延 | 224.7 ms |
| P50 时延 | 226.6 ms |
| P95 时延 | 228.6 ms |
| 吞吐量 | 4.41 items/s |
将模型从 CPU 迁移至 Ascend NPU,保持 FP32 精度。同时启用 TASK_QUEUE_ENABLE 和 CPU_AFFINITY_CONF。
环境变量:
export TASK_QUEUE_ENABLE=1
export CPU_AFFINITY_CONF=0代码:
pipeline = Chronos2Pipeline.from_pretrained("amazon/chronos-2", dtype=torch.float32)
pipeline.model = pipeline.model.to("npu:0")
predictions = pipeline.predict(inputs, prediction_length=64)实测数据(50 次运行):
| 指标 | CPU FP32 | NPU FP32 | 提升 |
|---|---|---|---|
| 平均时延 | 226.8 ms | 23.6 ms | 9.6x |
| P50 时延 | 226.6 ms | 23.6 ms | 9.6x |
| P95 时延 | 228.6 ms | 23.8 ms | 9.6x |
| P99 时延 | - | 23.9 ms | - |
| 标准差 | 1.06 ms | 0.10 ms | 10x 更稳定 |
| 吞吐量 | 4.41 items/s | 42.3 items/s | 9.6x |
精度: max_rel_error = 0.0926%(所有场景均 < 0.1%,远低于 1% 要求)
在 NPU 基础上启用自动混合精度推理。
with torch.npu.amp.autocast(dtype=torch.float16):
predictions = pipeline.predict(inputs, prediction_length=64)实测数据(50 次运行):
| 指标 | NPU FP32 | NPU FP16 | 变化 |
|---|---|---|---|
| 平均时延 | 23.6 ms | 28.0 ms | 变慢 18.6% |
| P95 时延 | 23.8 ms | 28.5 ms | 变慢 19.7% |
| 吞吐量 | 42.3 items/s | 35.7 items/s | -15.6% |
精度: FP16 在长序列场景误差高达 73.48%,精度测试 FAIL。
结论: Ascend 910 上 FP32 原生推理最优。AMP 的 dtype 转换开销(FP32↔FP16)在 T5 模型中大于计算节省,且精度不可接受。推荐始终使用 NPU FP32。
环境变量 TASK_QUEUE_ENABLE=1 和 CPU_AFFINITY_CONF=0 在 Stage 1 中已默认启用,Stage 3 为确认测试。结果与 Stage 1 一致:23.6ms,42.3/s。
本环境未安装 jemalloc。若安装 jemalloc 并设置 LD_PRELOAD=/path/to/libjemalloc.so.2,可进一步减少内存分配抖动约 3-5%。
Chronos-2 的 T5 编码器-解码器架构天然适合批处理:多序列在同一批次中通过跨注意力共享编码器计算,边际成本极低。
实测数据(NPU FP32, ctx=512, pred=64):
| Batch Size | 总时延 (ms) | P50 (ms) | P95 (ms) | 单样本 (ms) | 吞吐 (/s) | 加速比 vs BS=1 |
|---|---|---|---|---|---|---|
| 1 | 23.6 | 23.6 | 23.7 | 23.60 | 42 | 1.0x |
| 2 | 23.3 | 23.3 | 23.5 | 11.67 | 86 | 2.0x |
| 4 | 23.7 | 23.7 | 24.0 | 5.92 | 169 | 4.0x |
| 8 | 23.8 | 23.8 | 23.9 | 2.97 | 336 | 7.9x |
| 16 | 24.5 | 24.5 | 24.6 | 1.53 | 654 | 15.4x |
| 32 | 24.2 | 24.1 | 24.7 | 0.76 | 1,322 | 31.2x |
| 64 | 31.4 | 31.4 | 31.5 | 0.49 | 2,041 | 48.2x |
| 128 | 52.1 | 52.1 | 52.2 | 0.41 | 2,457 | 58.0x ★ |
| 256 | 106.6 | 106.6 | 106.8 | 0.42 | 2,403 | 56.7x |
吞吐饱和点: BS=128(2,457 items/s),BS=256 时吞吐不再增长(2,403/s)
最优性价比: BS=32(1,322/s,仅 24.2ms total,0.76ms/sample)
NPU 内存: BS=1→256 保持 ~456MB(模型本身内存,batch 不显著增加显存)
T5 的 self-attention 和 cross-attention 均对 batch 维度做计算,增加样本数几乎不增加单样本计算量。BS=128 时单样本仅 0.41ms,接近 Ascend 910 硬件极限。
| 优化尝试 | 结果 | 分析 |
|---|---|---|
| NPU BF16 autocast | ~30ms | autocast 转换开销 > BF16 计算收益 |
| NPU FP16 autocast | ~30ms | autocast 转换开销 > FP16 计算收益 |
| torch.compile(npu) | 不支持 | torch.isnan GE 转换未实现(CANN 8.5.1) |
| torch.jit.trace | 不支持 | 模型包含动态控制流 |
| ctx=128 | ctx=256 | ctx=512 | ctx=1024 | ctx=2048 | ctx=4096 |
|---|---|---|---|---|---|
| 23.3ms | 22.7ms | 22.9ms | 23.0ms | 22.8ms | 22.7ms |
时延对上下文长度(128→4096)几乎不敏感(22.7-23.3ms),T5 编码器的全序列并行处理和固定 patch 大小使推理时间与序列长度解耦。
所有数据均来自 evaluate.py 实际运行(seed=42 固定随机种子)。
| 测试场景 | CPU (ms) | NPU FP32 (ms) | FP32 最大相对误差 | FP16 最大相对误差 | FP32 | FP16 |
|---|---|---|---|---|---|---|
| short_ctx128_pred16 | 128.9 | 23.3 | 0.0036% | 3.70% | ✅ PASS | ❌ FAIL |
| medium_ctx512_pred64 | 234.4 | 23.6 | 0.0023% | 3.15% | ✅ PASS | ❌ FAIL |
| long_ctx2048_pred128 | 605.6 | 23.8 | 0.0926% | 73.48% | ✅ PASS | ❌ FAIL |
结论:
| 文件 | 说明 |
|---|---|
inference.py | 推理脚本(CPU/NPU 双模式,FP32/FP16/批量推理/精度验证/基准测试) |
evaluate.py | 评测脚本(精度验证 + 性能基准 + 批次扩展 + 上下文扩展 + 报告生成) |
download_model.py | 模型权重下载脚本 |
requirements.txt | Python 依赖清单 |
run_all.sh | 一键评测运行脚本 |
README.md | 部署文档(本文件,含完整优化记录和实测数据) |
evaluation/evaluation_report.json | 评测数据 JSON(机器可读) |
evaluation/evaluation_report.md | 评测报告 Markdown(人类可读) |
evaluation/benchmark_results.json | 基准测试结果 JSON |
logs/ | 运行日志目录 |
screenshots/ | 评测截图目录 |
import torch
from chronos import Chronos2Pipeline
# 加载模型到 NPU
pipeline = Chronos2Pipeline.from_pretrained(
"amazon/chronos-2", dtype=torch.float32, device_map=None
)
pipeline.model = pipeline.model.to("npu:0")
pipeline.model.eval()
# 单样本推理
inputs = torch.randn(1, 1, 512)
predictions = pipeline.predict(inputs, prediction_length=64)
# predictions[0].shape: (1, 21, 64) = (n_variates, num_quantiles, pred_length)
# 批量推理(推荐用于高吞吐)
inputs_batch = torch.randn(128, 1, 512)
predictions = pipeline.predict(inputs_batch, prediction_length=64, batch_size=128)Q: 为什么 NPU FP16 比 FP32 慢且精度差?
A: Ascend 910 的 FP32 计算单元效率很高。FP16 AMP 需要额外的 dtype 转换(FP32↔FP16),对 T5 序列模型转换开销 > 计算节省。同时 FP16 精度不足导致分位数预测误差较大。
Q: torch.compile 能用吗?
A: CANN 8.5.1 / torch_npu 2.9.0 不支持 torch.isnan 的 GE 转换,而 Chronos-2 的 _prepare_patched_context() 使用了 isnan。待 CANN 后续版本更新后可直接启用。
Q: 如何进一步提高性能?
A: (1) 使用批量推理(BS=32~128 性价比最优);(2) 安装 jemalloc 减少内存分配抖动;(3) 使用 torch_tensorrt/ONNX 导出图优化;(4) 升级 CANN 获取 torch.compile 支持。
| 项目 | 详情 |
|---|---|
| 验证日期 | 2026-05-20 |
| 硬件 | Ascend 910 NPU × 1 (Ascend910_9362) |
| CANN | 8.5.1 (/usr/local/Ascend/cann-8.5.1) |
| PyTorch | 2.9.0+cpu |
| torch_npu | 2.9.0.post1+gitee7ba04 |
| chronos-forecasting | 2.2.2 |
| Python | 3.11.14 |
| 模型路径 | /tmp/chronos2_model/amazon/chronos-2 |
Chronos2Pipeline.from_pretrained() 成功加载 119.5M 参数pipeline.model.to("npu:0") 后推理正常,输出 shape 正确(batch, n_variates=1, 21 quantiles, prediction_length) 符合预期# 完整自验流水线
bash run_all.sh
# 或分步执行
python download_model.py
python inference.py --mode validate
python inference.py --mode benchmark --num_runs 100
python evaluate.py --model_path /tmp/chronos2_model/amazon/chronos-2 --num_runs 100| 文件 | 路径 | 说明 |
|---|---|---|
| 评测报告 JSON | evaluation/evaluation_report.json | 机器可读完整数据 |
| 评测报告 MD | evaluation/evaluation_report.md | 人类可读报告 |
| 基准测试 JSON | evaluation/benchmark_results.json | 性能+批次+上下文数据 |
| 运行日志 | logs/evaluation_full_*.log | 100 次运行完整日志 |
| 可视化报告 | screenshots/evaluation_report.html | HTML 终端风格报告 |
| 终端输出 | screenshots/context_scaling_output.txt | 上下文扩展+NPC信息 |