GlauClsDRGrading NPU 适配模型

模型介绍

GlauClsDRGrading 是基于 ConvNeXt-tiny 架构的眼科医学影像分类模型，可同时进行青光眼 (Glaucoma) 二分类检测和糖尿病视网膜病变 (Diabetic Retinopathy, DR) 五分级评估。模型使用 Refuge 训练集和 Aptos 训练集训练，在眼底图像 (Fundus Image) 分析场景中有较好的表现。

本仓库将 GlauClsDRGrading 模型从 ONNX 格式转换为 PyTorch 格式，并适配到华为昇腾 (Ascend) NPU 上运行，支持 NPU 推理加速。

模型输出说明

原始模型信息

• 模型名称: GlauClsDRGrading
• 原始模型地址: https://www.modelscope.cn/models/flyer123/GlauClsDRGrading
• 任务类型: 图像分类 (Image Classification)
• 模型框架: PyTorch (ConvNeXt-tiny，由 ONNX 转换)
• 模型架构: ConvNeXt-tiny
• 输入格式: RGB 眼底图像，尺寸 448×448，像素值范围 [0, 1]
• 输出格式: 青光眼 logits (1×2) + DR 分级 logits (1×5)
• 参数量: 1,893,995
• 原始格式: ONNX (通过 onnx2torch 转换为 PyTorch)

依赖环境

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt

依赖列表

NPU 适配说明

将 ONNX 模型迁移到华为昇腾 NPU 的过程：

1. 从 ModelScope 下载原始 ONNX 模型文件 (model.onnx)
2. 使用 onnx2torch 将 ONNX 模型转换为 PyTorch 模型
3. 将 PyTorch 模型通过 .to(torch.device("npu:0")) 迁移到 NPU
4. 输入数据同时迁移到 NPU：torch.from_numpy(input).to(device)
5. NPU 推理完成后，将输出迁回 CPU 进行后处理

关键适配点

• ONNX 到 PyTorch 转换: 使用 onnx2torch.convert() 将 ConvNeXt-tiny 的 ONNX 计算图转换为 PyTorch 模型
• NPU 设备选择: torch.device("npu:0")
• 输入格式: (1, 3, 448, 448) float32 张量，BGR 转 RGB 后的通道顺序
• 数据移动: 输入数据需要显式移动到 NPU，输出结果移回 CPU 处理
• 同步机制: 使用 torch.npu.synchronize() 确保 NPU 操作完成后再计时

文件说明

推理命令

CPU 推理

python inference.py --device cpu \
  --model-dir ./model/flyer123/GlauClsDRGrading \
  --output-dir ./output

NPU 推理

python inference.py --device npu \
  --model-dir ./model/flyer123/GlauClsDRGrading \
  --output-dir ./output

使用真实眼底图像推理

python inference.py --device npu \
  --model-dir ./model/flyer123/GlauClsDRGrading \
  --image /path/to/fundus_image.jpg \
  --output-dir ./output

推理结果

青光眼检测 (Glaucoma) 结果

糖尿病视网膜病变 (DR) 分级结果

预测一致: CPU 和 NPU 的 Top-1 预测类别完全一致（青光眼: Class 0, DR: Grade 0）。

CPU/NPU 精度测试结果

精度对比方法

使用相同的合成眼底图像 (448×448 RGB) 作为输入，分别在 CPU 和 NPU 上运行推理，对比 4 个输出头的 logits 值和 softmax 概率分布。计算指标包括：

• L1 误差 (Mean Absolute Error)
• L2 误差 (Root Mean Square Error)
• 余弦相似度 (Cosine Similarity)
• 最大绝对误差 (Max Absolute Error)
• 相对误差 (Relative Error)
• Top-K 预测一致性

整体精度指标

各输出头精度对比

青光眼分类精度详细对比

DR 分级精度详细对比

性能测试结果

测试条件: 10 次推理 (3 次 warmup)，输入尺寸 (1, 3, 448, 448)。

NPU 推理速度约为 CPU 的 140.6 倍，满足实时医学影像分析需求。

结论

NPU 与 CPU 推理结果误差 < 1%。

• 青光眼分类和 DR 分级 Top-1 预测完全一致
• 总体余弦相似度达到 0.9999999999
• 总体相对误差仅 0.0099%，远低于 1% 阈值
• 最大绝对误差仅 1.5×10⁻⁵
• NPU 推理速度是 CPU 的 140.57 倍
• 所有 4 个输出头均通过 < 1% 精度验证

部署和推理方法

import torch
import numpy as np
from onnx2torch import convert
import onnx

# 加载模型 (ONNX → PyTorch)
onnx_path = "./model/flyer123/GlauClsDRGrading/model.onnx"
onnx_model = onnx.load(onnx_path)
model = convert(onnx_model)

# 迁移到 NPU
device = torch.device("npu:0")
model = model.to(device)
model.eval()

# 准备输入 (RGB 448×448 眼底图像, 像素值 [0, 1])
# 假设使用 OpenCV 读取: img = cv2.imread("fundus.jpg")
# img = img[..., ::-1]  # BGR → RGB
# img = cv2.resize(img, (448, 448))
# img = img.transpose(2, 0, 1)[np.newaxis].astype(np.float32) / 255.0
input_tensor = np.random.randn(1, 3, 448, 448).astype(np.float32)
x = torch.from_numpy(input_tensor).to(device)

# 推理
with torch.no_grad():
    outputs = model(x)

# 解析结果
glaucoma_logits = outputs[0].cpu().numpy()  # (1, 2) 青光眼分类
dr_logits = outputs[1].cpu().numpy()        # (1, 5) DR 分级

# Softmax 概率
glaucoma_probs = torch.softmax(torch.tensor(glaucoma_logits), dim=-1).numpy()
dr_probs = torch.softmax(torch.tensor(dr_logits), dim=-1).numpy()

print(f"青光眼: 正常={glaucoma_probs[0][0]:.4f}, 青光眼={glaucoma_probs[0][1]:.4f}")
print(f"DR 分级: Grade0={dr_probs[0][0]:.4f}, Grade1={dr_probs[0][1]:.4f}, "
      f"Grade2={dr_probs[0][2]:.4f}, Grade3={dr_probs[0][3]:.4f}, Grade4={dr_probs[0][4]:.4f}")

项目结构

GlauClsDRGrading-npu/
├── inference.py              # 推理脚本（支持 CPU/NPU）
├── compare_cpu_npu.py        # CPU/NPU 精度对比脚本
├── requirements.txt          # 依赖列表
├── readme.md                 # 本文件
├── model/
│   └── flyer123/
│       └── GlauClsDRGrading/
│           ├── model.onnx    # 原始 ONNX 模型
│           ├── configuration.json
│           └── README.md     # 原始模型卡片
└── output/
    ├── cpu_result.json       # CPU 推理结果
    ├── npu_result.json       # NPU 推理结果
    ├── cpu_all_logits.npy    # CPU 全部 logits
    ├── npu_all_logits.npy    # NPU 全部 logits
    └── comparison_report.json # 精度对比完整报告

验证环境

技术细节

ONNX 模型信息

• 输入节点: input — (1, 3, 448, 448) float32
• 输出节点: output (1×2), 837 (1×5), 838 (1×2), 839 (1×2)
• 算子集版本: opset 15
• 来源框架: PyTorch 2.1.2
• 主要算子: Conv (22), MatMul (36), Add (118), Mul (77), LayerNorm (via ReduceMean+Sqrt+Div)

精度说明

由于模型由 ONNX 转换为 PyTorch 后部署到 NPU，NPU 上的浮点运算精度 (float32) 与 CPU 保持一致。极小误差来源于：

1. NPU 与 CPU 的浮点运算实现差异（如融合算子优化）
2. 不同硬件平台的舍入策略

这些差异完全在可接受范围内（< 0.01%），不影响模型的实际预测结果。

标签

#NPU #Ascend #昇腾 #ConvNeXt #ImageClassification #Glaucoma #DiabeticRetinopathy #MedicalImaging #PyTorch #模型适配 #ONNX

参考文献

• ConvNeXt: A ConvNet for the 2020s
• 原始模型: flyer123/GlauClsDRGrading

推理成功证据

本仓库提供完整的推理脚本，支持 CPU 和 NPU 双平台推理：

# NPU 推理
python3 inference.py --device npu

# CPU 推理
python3 inference.py --device cpu

推理完成后会输出推理结果和耗时，表明模型在 NPU 上推理成功。