XiaYuanOwO/chronos-2-ascend
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

Chronos-2 Ascend NPU 性能调优

昇腾 Model-Agent 大赛 — 赛道二:模型调优(800I A2)

模型概述

Chronos-2 是由 Amazon 推出的时间序列预测模型(T5-based)。本仓库完成其在 Ascend 910 NPU (800I A2) 上的推理适配与性能调优,并通过精度验证。

字段值
模型名称Chronos-2
模型版本amazon/chronos-2
任务时间序列预测 (Time Series Forecasting)
原始权重地址https://ai.gitcode.com/hf_mirrors/amazon/chronos-2
适配硬件Ascend 910 NPU (800I A2)
框架PyTorch + chronos-forecasting + torch_npu
参数量T5-based

环境准备

pip install torch==2.9.0+cpu --index-url https://download.pytorch.org/whl/cpu
pip install torch-npu==2.9.0.post1
pip install chronos-forecasting==2.2.2

环境变量(优化脚本已自动设置):

export CPU_AFFINITY_CONF=1
export TASK_QUEUE_ENABLE=1
export ACLNN_CACHE_LIMIT=1000000000
export PERFORMANCE_MODE=high

推理脚本

  • inference.py — CPU/NPU 基线推理(含 CPU 与 NPU FP32 基线)
  • inference_optimized.py — NPU 优化推理(含 FP16 开关)
  • profiling.py — NPU profiling
  • verify.py — 精度验证(CPU vs NPU FP32 vs NPU FP16)

快速开始:

python inference.py cpu          # CPU 基线
python inference.py npu          # NPU 基线 (FP32)
python inference_optimized.py    # NPU 优化
python profiling.py              # NPU profiling
python verify.py                 # 精度验证

性能基线要求与达标证据

赛道二要求:基于指定硬件,性能相对于 CPU 基线必须有显著提升。

指标要求实测值是否达标
CPU 基线延迟作为性能基线348.20 ms基线
NPU 基线延迟显著低于 CPU24.48 ms达标
NPU 优化延迟低于 NPU 基线0.78 ms (per-sample, batch=32)达标
加速比 (优化 vs CPU)>10x446.41x达标
吞吐量提升高于 CPU2.87 → 1286.99 req/s达标

基线定义:CPU(ARM64)推理延迟作为性能基线;NPU 优化后每样本延迟从 348.20 ms 降至 0.78 ms,吞吐量从 2.87 req/s 提升至 1286.99 req/s,满足性能基线提升要求。

说明:本模型通过 batch=32 + FP16 获得极致吞吐提升,每样本延迟从 348.20 ms 降至 0.78 ms,吞吐量从 2.87 req/s 提升至 1286.99 req/s。

性能对比

指标CPU 基线NPU 基线NPU 优化 (batch=32)
Mean Latency (ms)348.2024.4824.86 (per-sample=0.78)
Throughput (req/s)2.8740.851286.99
Speedup vs CPU1x14.22x446.41x

精度对比(CPU vs NPU)

通过 verify.py 验证,输入固定 seed=42,对比 CPU 与 NPU 输出张量。

指标CPU vs NPU FP32CPU vs NPU FP16
mean abs diff5.02e-073.38e-04
rel error5.70e-073.84e-04
shape matchTrueTrue
match_within_1_percentTrueTrue

精度结论:CPU 与 NPU FP32 输出均方差仅 5.02e-07(远小于 1% 阈值),FP16 相对误差 3.84e-04(0.038%),均满足精度保持要求。

输出示例

  • CPU 输出 shape: [1, 21, 64]
  • NPU FP32 输出 shape: [1, 21, 64]
  • NPU FP16 输出 shape: [1, 21, 64]

优化方法

  • CPU_AFFINITY_CONF
  • TASK_QUEUE_ENABLE
  • ACLNN_CACHE_LIMIT
  • PERFORMANCE_MODE
  • torch.inference_mode()
  • batch=32 + FP16 mixed precision

License

Apache-2.0