将 Graph-Machine-Learning-Group/grin 的 GRIN 迁移到昇腾 NPU,完成单卡与单机多卡训练、根据验证集 MAE 选择最佳权重、ONNX/OM 转换及 PyACL 推理,检查部署后的数值和数据集精度。模型来自 ICLR 2022 论文 Filling the G_ap_s: Multivariate Time Series Imputation by Graph Neural Networks。
本文使用 AQI36 空气质量数据,验证范围为 FP32 训练、单机 HCCL/DDP 和固定输入形状 OM。训练依然基于 PyTorch,OM 用于训练后的推理。
| 项目 | 说明 |
|---|---|
| 完整模型 | lib/nn/models/grin.py 中的 GRINet |
| 核心计算 | lib/nn/layers/gril.py 中的双向 BiGRIL、图循环单元与空间解码器 |
| 任务 | 根据图结构和同一时间窗口内的观测,填补多变量时间序列的缺失值 |
| 训练包装 | GraphFiller 计算主输出和辅助预测损失,Lightning 管理训练生命周期 |
| 图结构 | 邻接矩阵作为模型 buffer 保存,节点顺序与数据列顺序一致 |
设 B 为 batch、T 为窗口长度、N 为节点数、C 为每节点通道数。模型可按配置构造不同规模;当前导出的 OM 固定为 B=32、T=36、N=36、C=1。
| 字段 | 当前 OM 类型与形状 | 含义 |
|---|---|---|
x | FP32 [32,36,36,1] | 标准化观测,输入缺失位置置零 |
mask | bool [32,36,36,1] | True 为已观测,False 为待填补 |
imputation | FP32 [32,36,36,1] | 标准化空间输出;评估时保留输入观测值 |
训练时另返回辅助预测 [4,B,T,N,C]。模型在每个窗口内部进行前后向递归,隐藏状态按该窗口初始化,不跨 batch 或相邻窗口传递;当前 OM 没有外部 H 输入输出。此任务不是用过去窗口预测下一时刻。
| 验证内容 | 数据与配置 |
|---|---|
| 正式训练和论文比较 | AQI36,small36.h5,out-of-sample,seed=42,八卡 40 轮 |
| 同权重跨后端推理 | 第 4.1 节指定的部署验证权重;PyTorch CPU/NPU、ONNX Runtime 首批校验、OM 全测试集 |
| 组件 | 实测版本或配置 |
|---|---|
| 系统 / Python | Ubuntu 22.04.5 LTS,AArch64 / 3.12.13 |
| NPU | Ascend 910B3,单卡 64 GiB,单机 8 卡 |
| 驱动 / CANN Toolkit | 25.5.6 / 9.0.1 |
| PyTorch / torch_npu | 2.10.0+cpu / 2.10.0.post2 |
| Lightning / TorchMetrics | 2.6.1 / 1.8.2 |
| NumPy / pandas | 1.26.4 / 2.2.3 |
| ONNX / ONNX Runtime | 1.17.0 / 1.22.1 |
| 导出 / 编译 / 运行 | ONNX opset 13 / ATC / CANN 提供的 PyACL |
在已安装匹配驱动、CANN 并加载 CANN 环境的 Python 3.12 环境中,从仓库根目录安装 Python 依赖:
python -m pip install -r requirements.txt以下列出本次适配涉及的文件,路径均相对于仓库根目录;省略其它原有文件和运行产物。
grin/
├── lib/
│ ├── data/
│ │ └── datamodule/
│ │ └── spatiotemporal.py
│ ├── fillers/
│ │ ├── filler.py
│ │ ├── graphfiller.py
│ │ └── multi_imputation_filler.py
│ ├── nn/
│ │ └── utils/
│ │ └── metric_base.py
│ └── utils/
│ ├── device.py
│ ├── distributed.py
│ └── parser_utils.py
├── requirements.txt
└── scripts/
├── prepare_om_validation.py
├── run_imputation.py
├── run_synthetic.py
└── validate_om.py以下按功能模块归并文件,变更类型相对于上游提交 4a28afb,共 13 个训练、导出和推理实现及依赖文件。
| 功能模块 | 文件 | 变更类型 | 作用 |
|---|---|---|---|
| 环境与依赖 | requirements.txt | 修改 | 统一固定 GRIN 训练、NPU 后端、数据处理和 ONNX 导出依赖;驱动、CANN、ATC 与 PyACL 单独安装 |
| 数据处理与加载 | lib/data/datamodule/spatiotemporal.py | 修改 | 保护 scaler 只拟合一次,接入分布式 DataLoader |
| 设备与分布式执行 | lib/utils/device.py、lib/utils/distributed.py | 新增 | 提供 NPUAccelerator、NPUDDPStrategy 和单机 torchrun 支持,处理全局采样分片、评估补齐及 masked loss 权重 |
| 训练步骤与指标 | lib/fillers/filler.py、lib/fillers/graphfiller.py、lib/nn/utils/metric_base.py | 修改 | 迁移 Lightning/TorchMetrics 接口并移动输入设备;拆分、裁剪辅助预测,按有效值处理损失和评估累计 |
| 共享包导入兼容 | lib/fillers/multi_imputation_filler.py | 修改 | 删除新版 Lightning 中已移除的 auto_move_data 导入和装饰器,保证统一导入 fillers 时 GRIN 能正常启动 |
| 实验入口与配置 | scripts/run_imputation.py、scripts/run_synthetic.py、lib/utils/parser_utils.py | 修改 | 接入设备、分布式配置及训练轮数上限,执行训练、最佳权重测试及结果保存;先读 YAML 再选择模型,显式 CLI 参数覆盖配置 |
| ONNX 导出与 OM 验证 | scripts/prepare_om_validation.py、scripts/validate_om.py | 新增 | 重建 AQI36 测试输入和 CPU 参考,导出并校验 ONNX;通过 PyACL 执行 OM,处理尾批并统计全量精度、同步耗时及单卡多进程并发性能 |
(1)Lightning 的 DDP 初始化调用 CUDA Stream
| 项目 | 记录 |
|---|---|
| 问题现象 | GRIN 单卡 NPU 训练可以启动,使用 torchrun 启动双卡后,两个进程在 Lightning 包装分布式模型时退出,尚未进入正常训练步骤。 |
| 操作步骤 | 使用 PyTorch 2.10.0+cpu、torch_npu 2.10.0.post2 和 Lightning 2.6.1,配置 NPU 设备及 HCCL 通信后,调用默认 DDPStrategy 初始化模型。 |
| 预期结果 | 每个进程将模型放到对应 NPU,由 PyTorch DDP 同步梯度,通过 HCCL 完成卡间通信。 |
| 实际结果 | 报错 torch.cuda.Stream requires CUDA support。即使已配置 HCCL,初始化过程仍尝试创建 CUDA Stream。 |
| 问题根因 | Lightning 2.6.1 的 DDPStrategy._setup_model() 通过 device_ids is not None 判断是否创建 CUDA Stream。CPU 返回 None,NPU 返回设备编号列表,因此 NPU 也进入 CUDA 分支。HCCL 只决定通信后端,不能改变这段设备判断逻辑;CPU 构建的 PyTorch 无法创建 CUDA Stream。 |
| 修复方法 | 在 lib/utils/device.py 中实现 NPUDDPStrategy,覆盖 _setup_model(),保留设备编号和 DDP 参数,直接构造 torch.nn.parallel.DistributedDataParallel,不进入 CUDA Stream 上下文。训练入口同时使用 NPUAccelerator 和 HCCL,继续由 Lightning 管理训练流程。 |
| 修复后结果 | 双卡完成训练、权重保存和测试,八卡完成 40 轮、6,400 次参数更新。修改位于仓库适配层,未修改已安装的 Lightning 源码。单卡使用 SingleDeviceStrategy,不经过这条 DDP 初始化路径。 |
(2)OM 编译成功但数值检查失败
| 项目 | 记录 |
|---|---|
| 问题现象 | 相同权重导出的 ONNX 通过数值校验,ATC 也成功生成 OM,但 OM 在真实首批输入上的输出未通过 CPU 参考值检查。编译成功只说明模型能够转换执行,并不保证数值误差满足要求。 |
| 操作步骤 | 固定权重、ONNX 和 [32,36,36,1] 的 x/mask 输入,ATC 设置 --precision_mode_v2=origin 后编译,通过 PyACL 推理,并用 rtol=atol=1e-4 逐元素比较标准化输出。 |
| 预期结果 | OM 输出与 CPU 参考满足 abs(OM-CPU) ≤ 1e-4 + 1e-4×abs(CPU),反标准化后的数据集指标也满足设定容差。 |
| 实际结果 | 首批最大绝对差为 0.0013335943,41,472 个元素中有 16,173 个超出容差。输入输出形状正常,但数值验收失败。 |
| 问题根因 | origin 精度模式不等于显式关闭 HF32。HF32 允许相关 FP32 运算使用较低有效精度的计算路径,这类差异可能在多步递归中累积。独立 NPU 对照中,关闭卷积和矩阵乘的 HF32 后,首批最大差降至 1.63913e-6。 |
| 修复方法 | 保持 ONNX、权重、输入、origin 模式和校验阈值不变,在 ATC 命令中增加 --allow_hf32=false 并重新编译,从编译日志确认该设置生效。此修复属于编译配置调整。 |
| 修复后结果 | 关闭 HF32 后,OM 首批最大标准化差为 1.47521e-06;完整 2,788 个测试窗口的最大标准化差为 5.48363e-06,输出误差及数据集指标均通过设定容差检查。 |
AQI36 包含 36 个监测站的 PM2.5 小时观测。本实验使用 small36.h5,共 8,759 个时间点,覆盖 2014 年 5 月至 2015 年 4 月。
从 TorchSpatiotemporal 提供的 Hugging Face 数据地址 获取 air_quality.zip,将其中的 small36.h5 放入以下目录。
datasets/
└── air_quality/
└── small36.h5
├── /pm25 [8759,36],PM2.5 观测及时间索引
├── /stations [36,2],监测站经纬度
└── /eval_mask [8759,36],评估位置标记程序通过 lib/datasets/air_quality.py 读取数据,利用站点距离构建邻接矩阵,并切分长度为 36、步长为 1 的窗口。每个窗口标准化后生成 x,缺失位置置零;mask 标记可见观测,eval_mask 标记参与精度评分的隐藏真值。模型输出对应同一窗口的填补结果。
使用 out-of-sample 划分,3、6、9、12 月用于测试,其余月份划分训练和验证区间,并移除边界重叠窗口。训练、验证、测试分别为 4,948、564、2,788 个窗口。标准化参数由训练数据拟合,测试结果反标准化后按窗口内有效位置评分。
使用 config/grin/air36.yaml,核心配置如下:
| 配置项 | 取值 |
|---|---|
| 数据与随机种子 | AQI36,out-of-sample,seed=42 |
| 设备与精度 | 8 张 Ascend 910B3,HCCL/DDP,FP32 |
| 窗口 / 步长 | 36 / 1 |
| 隐藏维度 / 前馈维度 / 节点嵌入维度 | 64 / 64 / 8,双向结果通过 MLP 合并 |
| 全局 batch / 每卡 batch | 32 / 4 |
| 每轮采样 / 参数更新次数 | 5,120 个窗口 / 160 次 |
| 训练轮数 | 40,共 6,400 次参数更新 |
| 优化器 / 初始学习率 | Adam / 0.001 |
| 学习率调度 | 余弦衰减,T_max=300,最低学习率 0.0001 |
| 训练损失 / 额外遮挡 | 主输出及辅助预测的 L1 损失 / 5% |
| 最佳权重与早停 | 验证 MAE 最小;连续 40 次验证未改善时早停 |
通过 scripts/run_imputation.py 训练,选择空闲 NPU 并使用新的输出目录。
单卡训练:
ASCEND_RT_VISIBLE_DEVICES=0 OMP_NUM_THREADS=1 OPENBLAS_NUM_THREADS=1 \
python scripts/run_imputation.py \
--run-dir outputs/training/single_card --epoch-limit 40 \
--device npu:0 --config config/grin/air36.yaml \
--in-sample False --seed 42 --epochs 300 \
--samples-per-epoch 5120 --batch-size 32 --workers 0八卡训练:
ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 \
HCCL_NPU_SOCKET_PORT_RANGE=auto OMP_NUM_THREADS=1 OPENBLAS_NUM_THREADS=1 \
torchrun --nproc-per-node=8 --master-port=29686 \
scripts/run_imputation.py \
--run-dir outputs/training/eight_card --epoch-limit 40 \
--distributed --device npu --config config/grin/air36.yaml \
--in-sample False --seed 42 --epochs 300 \
--samples-per-epoch 5120 --batch-size 32 --workers 0--epoch-limit 控制运行轮数,--epochs 设置学习率调度周期;八卡的 --batch-size 32 为全局 batch,每卡为 4。每轮验证后保存最低 MAE 对应的权重,训练结束自动加载该权重进行测试。输出目录保存最佳 .ckpt、config.yaml 和 results.json。
| 数据集与设定 | NPU 数 | seed | 完成轮数 | 最佳轮次 | 验证 MAE | 测试 MAE | 测试 MSE | 测试 MRE |
|---|---|---|---|---|---|---|---|---|
| AQI36,out-of-sample | 8 | 42 | 40 | 39 | 8.952609 | 12.073619 | 536.270386 | 16.993730% |
测试覆盖全部 2,788 个窗口、696,266 个有效评分位置。最佳权重为 epoch=38-step=6240.ckpt,其中 epoch 从 0 编号,对应实际第 39 轮。
使用第 3.4 节八卡训练的第 39 轮最佳权重,转换流程为 .ckpt → PyTorch 加载模型与权重 → ONNX → ATC → OM。
export GRIN_TRAIN_DIR=outputs/training/eight_card
export GRIN_CHECKPOINT="$GRIN_TRAIN_DIR/epoch=38-step=6240.ckpt"
export GRIN_OM_DIR=outputs/validation/om权重、config.yaml 和 results.json 由训练生成。转换自己的训练结果时,从 results.json 的 best_checkpoint 字段获取对应权重路径。
沿用第 4.1 节变量,导出 ONNX 并生成完整测试输入及 CPU 参考:
OMP_NUM_THREADS=1 OPENBLAS_NUM_THREADS=1 TORCH_DEVICE_BACKEND_AUTOLOAD=0 \
python scripts/prepare_om_validation.py \
--checkpoint "$GRIN_CHECKPOINT" \
--config "$GRIN_TRAIN_DIR/config.yaml" \
--expected-result "$GRIN_TRAIN_DIR/results.json" \
--batch-size 32 --output-dir "$GRIN_OM_DIR"脚本从检查点恢复模型,按训练配置重建测试集,核对 CPU 指标,并用 ONNX Runtime 检查首批输出。--batch-size 32 与窗口、节点和通道配置共同确定固定输入形状 [32,36,36,1],导出使用 opset 13。
使用 ATC 编译为 Ascend 910B3 的 OM:
atc --framework=5 \
--model="$GRIN_OM_DIR/grin.onnx" \
--output="$GRIN_OM_DIR/grin_fp32" \
--soc_version=Ascend910B3 --input_format=ND \
--input_shape='x:32,36,36,1;mask:32,36,36,1' \
--precision_mode_v2=origin --allow_hf32=false --log=info--allow_hf32=false 用于控制数值误差,生成的模型为 $GRIN_OM_DIR/grin_fp32.om。
| 文件 | 内容 |
|---|---|
grin.onnx | 固定形状的 x、mask 输入和 imputation 输出 |
test_data.npz | 2,788 个测试窗口的输入、标签、评估掩码、CPU 参考及反标准化参数 |
prepare_result.json | CPU 指标、ONNX 校验结果及文件摘要 |
grin_fp32.om | ATC 生成的推理模型 |
OM 每次处理 32 个窗口。最后一批只有 4 个有效窗口,推理脚本补齐后执行,再裁去补齐部分进行评分。执行第 5.1 节命令后,输出目录保存 om_predictions.npy 和 om_result.json,分别记录预测值及精度、性能结果。
沿用第 4 节生成的 OM 和测试数据,通过 PyACL 在空闲 NPU 上推理;--device 指定物理卡号:
env -u ASCEND_RT_VISIBLE_DEVICES OMP_NUM_THREADS=1 OPENBLAS_NUM_THREADS=1 \
python scripts/validate_om.py \
--model "$GRIN_OM_DIR/grin_fp32.om" \
--data "$GRIN_OM_DIR/test_data.npz" \
--output-dir "$GRIN_OM_DIR/evaluation" --device 0下表使用第 4.1 节同一权重、同一测试输入。MAE/MSE/MRE 按反标准化后的窗口有效位置计算。原生 NPU 的卷积 HF32 开启、矩阵乘 HF32 关闭,OM 显式关闭 HF32。
| 执行方式 | 测试 MAE | 测试 MSE | 测试 MRE | 相对 CPU 的标准化输出最大差 |
|---|---|---|---|---|
| PyTorch CPU,全测试集 | 12.07362295 | 536.28543339 | 16.99373632% | 参考 |
| PyTorch NPU,全测试集 | 12.07361724 | 536.27039983 | 16.99372829% | 0.00302196 |
| OM,全测试集,关闭 HF32 | 12.07362318 | 536.28545858 | 16.99373664% | 5.48363e-06 |
OM 对 CPU 的全量输出和指标检查通过,容差为 rtol=atol=1e-4。原生 NPU 与 OM 的任务指标接近。
对照论文 第 7 页表 1 的 AQI36、GRIN、out-of-sample 结果,使用窗口级评分口径,指标越低越好。
| 来源 | MAE | MSE | MRE |
|---|---|---|---|
| 论文 GRIN,五次运行报告 | 12.08 ± 0.47 | 523.14 ± 57.17 | 17.00 ± 0.67% |
| 本次八卡训练,seed=42,40 轮 | 12.073619 | 536.270386 | 16.993730% |
本次 MAE 比论文均值低约 0.053%,MSE 高约 2.51%,MRE 低约 0.0063 个百分点,数值接近论文结果。
使用第 4 节生成的同一 OM,在单张 Ascend 910B3 上分别启动 1、2、4、8 个独立进程。每个进程加载自己的模型实例,batch=32,固定输入形状为 [32,36,36,1];各进程均处理完整的 2,788 个测试窗口,每轮 88 个 batch,独立重复 3 轮。
沿用第 4.1 节变量,选择空闲 NPU 后执行以下命令。各组测试依次运行,组内进程并发执行:
for processes in 1 2 4 8; do
env -u ASCEND_RT_VISIBLE_DEVICES OMP_NUM_THREADS=1 OPENBLAS_NUM_THREADS=1 \
python scripts/validate_om.py \
--model "$GRIN_OM_DIR/grin_fp32.om" \
--data "$GRIN_OM_DIR/test_data.npz" \
--output-dir "$GRIN_OM_DIR/benchmark/p${processes}" --device 4 \
--processes "$processes" --repeats 3
done--device 指定共享的物理卡号,--processes 指定该卡上的独立推理进程数,--repeats 指定每个进程遍历测试集的次数。每个进程先预热 2 批,之后每轮通过进程同步屏障同时开始测量。
| 进程数 | 平均执行延迟(ms/batch) | P50(ms/batch) | P95(ms/batch) | 总吞吐(窗口/秒) | 相对单进程吞吐 |
|---|---|---|---|---|---|
| 1 | 28.1483 | 28.1378 | 28.2015 | 1,115.66 | 1.00× |
| 2 | 44.5079 | 44.4892 | 48.9150 | 1,411.59 | 1.27× |
| 4 | 60.1168 | 60.2230 | 63.0413 | 2,086.57 | 1.87× |
| 8 | 98.0172 | 98.6951 | 100.8737 | 2,566.20 | 2.30× |