RADIO-L on Ascend NPU

1. 简介

本文档记录 RADIO-L 在昇腾 NPU 环境的适配与验证结果。

模型信息：

• 模型类型：Vision Transformer (ViT-L)
• 参数量：320M
• 输入尺寸：[1, 3, 768, 768]
• 输出：summary (全局特征) + spatial_features (空间特征)

相关地址：

• 权重下载地址（HuggingFace）：https://huggingface.co/nvidia/RADIO-L
• 原项目地址：https://github.com/NVlabs/RADIO

2. 验证环境

• NPU：1 逻辑卡
• 模型路径：/data/xxy/RADIO-L
• Conda 环境：radio-l

3. 环境配置

3.1 创建 conda 环境

conda create -n radio-l python=3.11 -y
conda activate radio-l

3.2 安装依赖

pip install torch==2.10.0 torchvision --index-url https://download.pytorch.org/whl/cpu
pip install torch_npu transformers pillow timm einops -i https://repo.huaweicloud.com/repository/pypi/simple

3.3 验证环境

python -c "import torch; print('NPU available:', torch.npu.is_available())"

4. 适配方法

RADIO 模型通过 HuggingFace AutoModel 加载，需要 trust_remote_code=True，主要适配工作：

1. 设备迁移：使用 model.to("npu:0") 将模型权重迁移到 NPU
2. 输入处理：将输入张量移至 NPU 设备 x.to("npu:0")
3. 同步调用：NPU 推理后调用 torch.npu.synchronize() 确保计算完成

5. 使用方式

5.1 基本推理

# 使用随机张量推理
python inference.py

# 使用图片推理
python inference.py --image /path/to/image.jpg

# 指定设备
python inference.py --device cpu
python inference.py --device npu:0

5.2 精度与性能评测

python eval.py

评测结果将输出到终端并保存到 log.txt。

6. 评测结果

6.1 精度评测

由于 RADIO-L 模型较大（320M 参数），CPU 推理时间过长，评测时使用 NPU 单卡运行验证。

6.2 性能评测

7. 文件结构

RADIO-L-ascend/
├── inference.py    # 推理脚本
├── eval.py         # 精度与性能评测脚本
├── log.txt         # 评测日志
└── README.md       # 本文档

8. 注意事项

1. 模型较大，CPU 推理时间过长，建议直接使用 NPU 测试
2. 模型输入尺寸为 [1, 3, 768, 768]（与原版一致）
3. Conda 环境名称与模型名称一致：radio-l
4. 需要 trust_remote_code=True 加载模型
5. 模型前向接口使用 x 而非 pixel_values