Ascend-SACT/GRIN
模型介绍
文件和版本
Pull Requests
讨论
分析

GRIN 模型昇腾训练、推理与精度性能评估

1. 背景与验证目标

1.1 适配目标

将 Graph-Machine-Learning-Group/grin 的 GRIN 迁移到昇腾 NPU,完成单卡与单机多卡训练、根据验证集 MAE 选择最佳权重、ONNX/OM 转换及 PyACL 推理,检查部署后的数值和数据集精度。模型来自 ICLR 2022 论文 Filling the G_ap_s: Multivariate Time Series Imputation by Graph Neural Networks。

本文使用 AQI36 空气质量数据,验证范围为 FP32 训练、单机 HCCL/DDP 和固定输入形状 OM。训练依然基于 PyTorch,OM 用于训练后的推理。

1.2 模型结构与输入输出

项目说明
完整模型lib/nn/models/grin.py 中的 GRINet
核心计算lib/nn/layers/gril.py 中的双向 BiGRIL、图循环单元与空间解码器
任务根据图结构和同一时间窗口内的观测,填补多变量时间序列的缺失值
训练包装GraphFiller 计算主输出和辅助预测损失,Lightning 管理训练生命周期
图结构邻接矩阵作为模型 buffer 保存,节点顺序与数据列顺序一致

设 B 为 batch、T 为窗口长度、N 为节点数、C 为每节点通道数。模型可按配置构造不同规模;当前导出的 OM 固定为 B=32、T=36、N=36、C=1。

字段当前 OM 类型与形状含义
xFP32 [32,36,36,1]标准化观测,输入缺失位置置零
maskbool [32,36,36,1]True 为已观测,False 为待填补
imputationFP32 [32,36,36,1]标准化空间输出;评估时保留输入观测值

训练时另返回辅助预测 [4,B,T,N,C]。模型在每个窗口内部进行前后向递归,隐藏状态按该窗口初始化,不跨 batch 或相邻窗口传递;当前 OM 没有外部 H 输入输出。此任务不是用过去窗口预测下一时刻。

1.3 数据集与验证范围

验证内容数据与配置
正式训练和论文比较AQI36,small36.h5,out-of-sample,seed=42,八卡 40 轮
同权重跨后端推理第 4.1 节指定的部署验证权重;PyTorch CPU/NPU、ONNX Runtime 首批校验、OM 全测试集

1.4 环境准备

组件实测版本或配置
系统 / PythonUbuntu 22.04.5 LTS,AArch64 / 3.12.13
NPUAscend 910B3,单卡 64 GiB,单机 8 卡
驱动 / CANN Toolkit25.5.6 / 9.0.1
PyTorch / torch_npu2.10.0+cpu / 2.10.0.post2
Lightning / TorchMetrics2.6.1 / 1.8.2
NumPy / pandas1.26.4 / 2.2.3
ONNX / ONNX Runtime1.17.0 / 1.22.1
导出 / 编译 / 运行ONNX opset 13 / ATC / CANN 提供的 PyACL

在已安装匹配驱动、CANN 并加载 CANN 环境的 Python 3.12 环境中,从仓库根目录安装 Python 依赖:

python -m pip install -r requirements.txt

2. 代码适配

2.1 代码结构

以下列出本次适配涉及的文件,路径均相对于仓库根目录;省略其它原有文件和运行产物。

grin/
├── lib/
│   ├── data/
│   │   └── datamodule/
│   │       └── spatiotemporal.py
│   ├── fillers/
│   │   ├── filler.py
│   │   ├── graphfiller.py
│   │   └── multi_imputation_filler.py
│   ├── nn/
│   │   └── utils/
│   │       └── metric_base.py
│   └── utils/
│       ├── device.py
│       ├── distributed.py
│       └── parser_utils.py
├── requirements.txt
└── scripts/
    ├── prepare_om_validation.py
    ├── run_imputation.py
    ├── run_synthetic.py
    └── validate_om.py

2.2 模块职责

以下按功能模块归并文件,变更类型相对于上游提交 4a28afb,共 13 个训练、导出和推理实现及依赖文件。

功能模块文件变更类型作用
环境与依赖requirements.txt修改统一固定 GRIN 训练、NPU 后端、数据处理和 ONNX 导出依赖;驱动、CANN、ATC 与 PyACL 单独安装
数据处理与加载lib/data/datamodule/spatiotemporal.py修改保护 scaler 只拟合一次,接入分布式 DataLoader
设备与分布式执行lib/utils/device.py、lib/utils/distributed.py新增提供 NPUAccelerator、NPUDDPStrategy 和单机 torchrun 支持,处理全局采样分片、评估补齐及 masked loss 权重
训练步骤与指标lib/fillers/filler.py、lib/fillers/graphfiller.py、lib/nn/utils/metric_base.py修改迁移 Lightning/TorchMetrics 接口并移动输入设备;拆分、裁剪辅助预测,按有效值处理损失和评估累计
共享包导入兼容lib/fillers/multi_imputation_filler.py修改删除新版 Lightning 中已移除的 auto_move_data 导入和装饰器,保证统一导入 fillers 时 GRIN 能正常启动
实验入口与配置scripts/run_imputation.py、scripts/run_synthetic.py、lib/utils/parser_utils.py修改接入设备、分布式配置及训练轮数上限,执行训练、最佳权重测试及结果保存;先读 YAML 再选择模型,显式 CLI 参数覆盖配置
ONNX 导出与 OM 验证scripts/prepare_om_validation.py、scripts/validate_om.py新增重建 AQI36 测试输入和 CPU 参考,导出并校验 ONNX;通过 PyACL 执行 OM,处理尾批并统计全量精度、同步耗时及单卡多进程并发性能

2.3 适配问题与修复

(1)Lightning 的 DDP 初始化调用 CUDA Stream

项目记录
问题现象GRIN 单卡 NPU 训练可以启动,使用 torchrun 启动双卡后,两个进程在 Lightning 包装分布式模型时退出,尚未进入正常训练步骤。
操作步骤使用 PyTorch 2.10.0+cpu、torch_npu 2.10.0.post2 和 Lightning 2.6.1,配置 NPU 设备及 HCCL 通信后,调用默认 DDPStrategy 初始化模型。
预期结果每个进程将模型放到对应 NPU,由 PyTorch DDP 同步梯度,通过 HCCL 完成卡间通信。
实际结果报错 torch.cuda.Stream requires CUDA support。即使已配置 HCCL,初始化过程仍尝试创建 CUDA Stream。
问题根因Lightning 2.6.1 的 DDPStrategy._setup_model() 通过 device_ids is not None 判断是否创建 CUDA Stream。CPU 返回 None,NPU 返回设备编号列表,因此 NPU 也进入 CUDA 分支。HCCL 只决定通信后端,不能改变这段设备判断逻辑;CPU 构建的 PyTorch 无法创建 CUDA Stream。
修复方法在 lib/utils/device.py 中实现 NPUDDPStrategy,覆盖 _setup_model(),保留设备编号和 DDP 参数,直接构造 torch.nn.parallel.DistributedDataParallel,不进入 CUDA Stream 上下文。训练入口同时使用 NPUAccelerator 和 HCCL,继续由 Lightning 管理训练流程。
修复后结果双卡完成训练、权重保存和测试,八卡完成 40 轮、6,400 次参数更新。修改位于仓库适配层,未修改已安装的 Lightning 源码。单卡使用 SingleDeviceStrategy,不经过这条 DDP 初始化路径。

(2)OM 编译成功但数值检查失败

项目记录
问题现象相同权重导出的 ONNX 通过数值校验,ATC 也成功生成 OM,但 OM 在真实首批输入上的输出未通过 CPU 参考值检查。编译成功只说明模型能够转换执行,并不保证数值误差满足要求。
操作步骤固定权重、ONNX 和 [32,36,36,1] 的 x/mask 输入,ATC 设置 --precision_mode_v2=origin 后编译,通过 PyACL 推理,并用 rtol=atol=1e-4 逐元素比较标准化输出。
预期结果OM 输出与 CPU 参考满足 abs(OM-CPU) ≤ 1e-4 + 1e-4×abs(CPU),反标准化后的数据集指标也满足设定容差。
实际结果首批最大绝对差为 0.0013335943,41,472 个元素中有 16,173 个超出容差。输入输出形状正常,但数值验收失败。
问题根因origin 精度模式不等于显式关闭 HF32。HF32 允许相关 FP32 运算使用较低有效精度的计算路径,这类差异可能在多步递归中累积。独立 NPU 对照中,关闭卷积和矩阵乘的 HF32 后,首批最大差降至 1.63913e-6。
修复方法保持 ONNX、权重、输入、origin 模式和校验阈值不变,在 ATC 命令中增加 --allow_hf32=false 并重新编译,从编译日志确认该设置生效。此修复属于编译配置调整。
修复后结果关闭 HF32 后,OM 首批最大标准化差为 1.47521e-06;完整 2,788 个测试窗口的最大标准化差为 5.48363e-06,输出误差及数据集指标均通过设定容差检查。

3. 模型训练

3.1 数据与填补任务

AQI36 包含 36 个监测站的 PM2.5 小时观测。本实验使用 small36.h5,共 8,759 个时间点,覆盖 2014 年 5 月至 2015 年 4 月。

从 TorchSpatiotemporal 提供的 Hugging Face 数据地址 获取 air_quality.zip,将其中的 small36.h5 放入以下目录。

datasets/
└── air_quality/
    └── small36.h5
        ├── /pm25       [8759,36],PM2.5 观测及时间索引
        ├── /stations   [36,2],监测站经纬度
        └── /eval_mask  [8759,36],评估位置标记

程序通过 lib/datasets/air_quality.py 读取数据,利用站点距离构建邻接矩阵,并切分长度为 36、步长为 1 的窗口。每个窗口标准化后生成 x,缺失位置置零;mask 标记可见观测,eval_mask 标记参与精度评分的隐藏真值。模型输出对应同一窗口的填补结果。

使用 out-of-sample 划分,3、6、9、12 月用于测试,其余月份划分训练和验证区间,并移除边界重叠窗口。训练、验证、测试分别为 4,948、564、2,788 个窗口。标准化参数由训练数据拟合,测试结果反标准化后按窗口内有效位置评分。

3.2 训练配置

使用 config/grin/air36.yaml,核心配置如下:

配置项取值
数据与随机种子AQI36,out-of-sample,seed=42
设备与精度8 张 Ascend 910B3,HCCL/DDP,FP32
窗口 / 步长36 / 1
隐藏维度 / 前馈维度 / 节点嵌入维度64 / 64 / 8,双向结果通过 MLP 合并
全局 batch / 每卡 batch32 / 4
每轮采样 / 参数更新次数5,120 个窗口 / 160 次
训练轮数40,共 6,400 次参数更新
优化器 / 初始学习率Adam / 0.001
学习率调度余弦衰减,T_max=300,最低学习率 0.0001
训练损失 / 额外遮挡主输出及辅助预测的 L1 损失 / 5%
最佳权重与早停验证 MAE 最小;连续 40 次验证未改善时早停

3.3 训练、保存与测试

通过 scripts/run_imputation.py 训练,选择空闲 NPU 并使用新的输出目录。

单卡训练:

ASCEND_RT_VISIBLE_DEVICES=0 OMP_NUM_THREADS=1 OPENBLAS_NUM_THREADS=1 \
python scripts/run_imputation.py \
  --run-dir outputs/training/single_card --epoch-limit 40 \
  --device npu:0 --config config/grin/air36.yaml \
  --in-sample False --seed 42 --epochs 300 \
  --samples-per-epoch 5120 --batch-size 32 --workers 0

八卡训练:

ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 \
HCCL_NPU_SOCKET_PORT_RANGE=auto OMP_NUM_THREADS=1 OPENBLAS_NUM_THREADS=1 \
torchrun --nproc-per-node=8 --master-port=29686 \
  scripts/run_imputation.py \
  --run-dir outputs/training/eight_card --epoch-limit 40 \
  --distributed --device npu --config config/grin/air36.yaml \
  --in-sample False --seed 42 --epochs 300 \
  --samples-per-epoch 5120 --batch-size 32 --workers 0

--epoch-limit 控制运行轮数,--epochs 设置学习率调度周期;八卡的 --batch-size 32 为全局 batch,每卡为 4。每轮验证后保存最低 MAE 对应的权重,训练结束自动加载该权重进行测试。输出目录保存最佳 .ckpt、config.yaml 和 results.json。

3.4 已完成的训练与测试结果

数据集与设定NPU 数seed完成轮数最佳轮次验证 MAE测试 MAE测试 MSE测试 MRE
AQI36,out-of-sample84240398.95260912.073619536.27038616.993730%

测试覆盖全部 2,788 个窗口、696,266 个有效评分位置。最佳权重为 epoch=38-step=6240.ckpt,其中 epoch 从 0 编号,对应实际第 39 轮。

4. 模型转换与推理

4.1 权重来源与转换准备

使用第 3.4 节八卡训练的第 39 轮最佳权重,转换流程为 .ckpt → PyTorch 加载模型与权重 → ONNX → ATC → OM。

export GRIN_TRAIN_DIR=outputs/training/eight_card
export GRIN_CHECKPOINT="$GRIN_TRAIN_DIR/epoch=38-step=6240.ckpt"
export GRIN_OM_DIR=outputs/validation/om

权重、config.yaml 和 results.json 由训练生成。转换自己的训练结果时,从 results.json 的 best_checkpoint 字段获取对应权重路径。

4.2 ONNX 导出与编译

沿用第 4.1 节变量,导出 ONNX 并生成完整测试输入及 CPU 参考:

OMP_NUM_THREADS=1 OPENBLAS_NUM_THREADS=1 TORCH_DEVICE_BACKEND_AUTOLOAD=0 \
python scripts/prepare_om_validation.py \
  --checkpoint "$GRIN_CHECKPOINT" \
  --config "$GRIN_TRAIN_DIR/config.yaml" \
  --expected-result "$GRIN_TRAIN_DIR/results.json" \
  --batch-size 32 --output-dir "$GRIN_OM_DIR"

脚本从检查点恢复模型,按训练配置重建测试集,核对 CPU 指标,并用 ONNX Runtime 检查首批输出。--batch-size 32 与窗口、节点和通道配置共同确定固定输入形状 [32,36,36,1],导出使用 opset 13。

使用 ATC 编译为 Ascend 910B3 的 OM:

atc --framework=5 \
  --model="$GRIN_OM_DIR/grin.onnx" \
  --output="$GRIN_OM_DIR/grin_fp32" \
  --soc_version=Ascend910B3 --input_format=ND \
  --input_shape='x:32,36,36,1;mask:32,36,36,1' \
  --precision_mode_v2=origin --allow_hf32=false --log=info

--allow_hf32=false 用于控制数值误差,生成的模型为 $GRIN_OM_DIR/grin_fp32.om。

4.3 输入文件与推理输出

文件内容
grin.onnx固定形状的 x、mask 输入和 imputation 输出
test_data.npz2,788 个测试窗口的输入、标签、评估掩码、CPU 参考及反标准化参数
prepare_result.jsonCPU 指标、ONNX 校验结果及文件摘要
grin_fp32.omATC 生成的推理模型

OM 每次处理 32 个窗口。最后一批只有 4 个有效窗口,推理脚本补齐后执行,再裁去补齐部分进行评分。执行第 5.1 节命令后,输出目录保存 om_predictions.npy 和 om_result.json,分别记录预测值及精度、性能结果。

5. 精度评测

5.1 同一权重的 CPU、NPU 与 OM 推理对比

沿用第 4 节生成的 OM 和测试数据,通过 PyACL 在空闲 NPU 上推理;--device 指定物理卡号:

env -u ASCEND_RT_VISIBLE_DEVICES OMP_NUM_THREADS=1 OPENBLAS_NUM_THREADS=1 \
  python scripts/validate_om.py \
  --model "$GRIN_OM_DIR/grin_fp32.om" \
  --data "$GRIN_OM_DIR/test_data.npz" \
  --output-dir "$GRIN_OM_DIR/evaluation" --device 0

下表使用第 4.1 节同一权重、同一测试输入。MAE/MSE/MRE 按反标准化后的窗口有效位置计算。原生 NPU 的卷积 HF32 开启、矩阵乘 HF32 关闭,OM 显式关闭 HF32。

执行方式测试 MAE测试 MSE测试 MRE相对 CPU 的标准化输出最大差
PyTorch CPU,全测试集12.07362295536.2854333916.99373632%参考
PyTorch NPU,全测试集12.07361724536.2703998316.99372829%0.00302196
OM,全测试集,关闭 HF3212.07362318536.2854585816.99373664%5.48363e-06

OM 对 CPU 的全量输出和指标检查通过,容差为 rtol=atol=1e-4。原生 NPU 与 OM 的任务指标接近。

5.2 与论文结果比较

对照论文 第 7 页表 1 的 AQI36、GRIN、out-of-sample 结果,使用窗口级评分口径,指标越低越好。

来源MAEMSEMRE
论文 GRIN,五次运行报告12.08 ± 0.47523.14 ± 57.1717.00 ± 0.67%
本次八卡训练,seed=42,40 轮12.073619536.27038616.993730%

本次 MAE 比论文均值低约 0.053%,MSE 高约 2.51%,MRE 低约 0.0063 个百分点,数值接近论文结果。

6. 性能测试

使用第 4 节生成的同一 OM,在单张 Ascend 910B3 上分别启动 1、2、4、8 个独立进程。每个进程加载自己的模型实例,batch=32,固定输入形状为 [32,36,36,1];各进程均处理完整的 2,788 个测试窗口,每轮 88 个 batch,独立重复 3 轮。

沿用第 4.1 节变量,选择空闲 NPU 后执行以下命令。各组测试依次运行,组内进程并发执行:

for processes in 1 2 4 8; do
  env -u ASCEND_RT_VISIBLE_DEVICES OMP_NUM_THREADS=1 OPENBLAS_NUM_THREADS=1 \
    python scripts/validate_om.py \
    --model "$GRIN_OM_DIR/grin_fp32.om" \
    --data "$GRIN_OM_DIR/test_data.npz" \
    --output-dir "$GRIN_OM_DIR/benchmark/p${processes}" --device 4 \
    --processes "$processes" --repeats 3
done

--device 指定共享的物理卡号,--processes 指定该卡上的独立推理进程数,--repeats 指定每个进程遍历测试集的次数。每个进程先预热 2 批,之后每轮通过进程同步屏障同时开始测量。

进程数平均执行延迟(ms/batch)P50(ms/batch)P95(ms/batch)总吞吐(窗口/秒)相对单进程吞吐
128.148328.137828.20151,115.661.00×
244.507944.489248.91501,411.591.27×
460.116860.223063.04132,086.571.87×
898.017298.6951100.87372,566.202.30×