冬
gcw_IDzXRVNw/3rd_Anti-UAV_CVPR23-ascend
模型介绍文件和版本Pull Requests讨论分析
下载使用量0

3rd_Anti-UAV_CVPR23 Ascend NPU 部署指南

项目简介

3rd_Anti-UAV_CVPR23 是 CVPR23 第三届 Anti-UAV 研讨会的基线模型,基于 SiamFC(孪生全卷积网络)架构,用于无人机跟踪任务。该模型是 CVPR2023 研讨会 Track1(单目标跟踪)的参赛方案。

特性

  • 支持 Ascend NPU 推理加速
  • CPU 与 NPU 精度对比测试(误差 < 1%)
  • 基于 AlexNet 骨干网络的 SiamFC 跟踪器
  • 255x255 输入尺寸,256 通道特征输出
  • 高速推理能力(NPU 191 倍加速比)

环境要求

  • 硬件:华为 Ascend 910 系列 NPU
  • CANN:8.0.RC1 或更高版本
  • PyTorch:2.0+ 且带有 torch_npu
  • Docker:容器名称 test-modelagent

目录结构

3rd_Anti-UAV_CVPR23-ascend/
├── inference.py          # 推理测试脚本
├── log.txt               # 测试日志 (完整)
├── README.md             # 本文档
├── test_sample.pt        # 测试样本
├── test_sample_info.json # 测试样本信息
├── inference_result.json # 推理结果
└── precision_result.json # 精度测试结果

部署步骤

1. 进入容器

docker exec -it test-modelagent bash

2. 设置环境变量

source /usr/local/Ascend/ascend-toolkit/set_env.sh

3. 准备模型文件

模型文件位于 /data/ysws/agentsp/5-19-1/3rd_Anti-UAV_CVPR23/iic/3rd_Anti-UAV_CVPR23/ 目录下:

  • pytorch_model.pt - PyTorch 模型权重 (约 9MB)
  • README.md - 原始模型说明
  • configuration.json - 模型配置

4. 安装依赖

pip install torch torch_npu -i https://pypi.huaweicloud.com/repository/pypi/simple/

Usage

Method 1: Normal Inference Mode

Run the inference script for NPU inference testing:

cd /data/ysws/agentsp/5-19-1/3rd_Anti-UAV_CVPR23-ascend/

# 普通推理模式
python3 inference.py

# 首次运行会有模型加载和编译开销

方式二:精度测试模式 (CPU vs NPU)

运行精度对比测试,验证 NPU 计算结果与 CPU 一致性:

cd /data/ysws/agentsp/5-19-1/3rd_Anti-UAV_CVPR23-ascend/

# 精度测试模式
python3 inference.py precision_test

测试验证

精度测试结果

指标实测值阈值状态
相对误差0.0578%< 1.00%PASS
最大绝对误差1.222447e-03--
CPU 推理时间0.3300s--
NPU 推理时间0.0017s--
加速比191.39x--

性能数据

操作耗时
CPU 推理时间 (单次)0.3300s
NPU 推理时间 (单次)0.0017s
首次 NPU 推理 (含编译)5.7031s
加速比191.39x

推理结果示例

输入尺寸输出尺寸NPU 推理时间
[1, 3, 255, 255][1, 256, 22, 22]0.0017s

结果: CPU 和 NPU 输出的相对误差仅为 0.0578%,远低于 1% 阈值,完全通过精度验证。

完整测试日志

============================================================
3rd_Anti-UAV_CVPR23 NPU Test Suite
Model: SiamFC-based UAV Tracking
Output: /data/ysws/agentsp/5-19-1/3rd_Anti-UAV_CVPR23-ascend
============================================================

Mode: PRECISION TEST (CPU vs NPU)

============================================================
3rd_Anti-UAV_CVPR23 NPU Inference Test
============================================================
Device: npu:0
Model: /data/ysws/agentsp/5-19-1/3rd_Anti-UAV_CVPR23/iic/3rd_Anti-UAV_CVPR23/pytorch_model.pt
Loading model state dict...
Loaded 30 state dict entries
Building SiamFC model...
Model built successfully
Input shape: torch.Size([1, 3, 255, 255])
Running inference...
Output shape: torch.Size([1, 256, 22, 22])
Inference time: 5.7031s

============================================================
Creating Test Samples
============================================================
Saved test sample: /data/ysws/agentsp/5-19-1/3rd_Anti-UAV_CVPR23-ascend/test_sample.pt
Shape: torch.Size([1, 3, 255, 255])
Seed: 42 (for reproducibility)

============================================================
3rd_Anti-UAV_CVPR23 Precision Test (CPU vs NPU)
============================================================
Device: npu:0
Loading model state dict...
Building CPU model...
Building NPU model...
Input shape: torch.Size([1, 3, 255, 255])
Input seed: 42 (for reproducibility)
Running inference on CPU...
CPU inference time: 0.3300s
CPU output shape: torch.Size([1, 256, 22, 22])
Running inference on NPU...
NPU inference time: 0.0017s
NPU output shape: torch.Size([1, 256, 22, 22])

============================================================
Precision Results
============================================================
CPU inference time: 0.3300s
NPU inference time: 0.0017s
Speedup: 191.39x
Max absolute error: 1.222447e-03
Max relative error: 5.782230e-04 (0.0578%)
Threshold: 1.0%
Status: PASS

============================================================
Test Complete!
============================================================

模型结构

SiamFC 模型架构(类 AlexNet 骨干网络):

层输入通道输出通道卷积核步长分组
conv139611x1121
pool1--3x32-
conv2962565x512
pool2--3x32-
conv32563843x311
conv43843843x312
conv53842563x312

关键设计

  • 分组卷积:conv2、conv4、conv5 采用分组卷积(groups=2),显著降低计算量
  • 权重形状:分组卷积的权重形状为 [out_channels, in_channels/groups, kH, kW]
  • ReLU 激活:除 conv5 外,所有卷积层后均连接 ReLU 激活函数
  • 池化层:conv1 后和 conv2 后各设有一个 3x3 最大池化层

Python API 使用示例

基本推理

import torch
import torch.nn as nn
import torch.nn.functional as F

MODEL_PATH = "/data/ysws/agentsp/5-19-1/3rd_Anti-UAV_CVPR23/iic/3rd_Anti-UAV_CVPR23/pytorch_model.pt"

class SiamFCModel(nn.Module):
    def __init__(self, state_dict):
        super().__init__()
        self.conv1 = nn.Conv2d(3, 96, 11, stride=2)
        self.bn1 = nn.BatchNorm2d(96)
        self.conv2 = nn.Conv2d(96, 256, 5, groups=2)
        self.bn2 = nn.BatchNorm2d(256)
        self.conv3 = nn.Conv2d(256, 384, 3)
        self.bn3 = nn.BatchNorm2d(384)
        self.conv4 = nn.Conv2d(384, 384, 3, groups=2)
        self.bn4 = nn.BatchNorm2d(384)
        self.conv5 = nn.Conv2d(384, 256, 3, groups=2)
        # Load weights from state_dict...

    def forward(self, x):
        x = torch.relu(self.bn1(self.conv1(x)))
        x = F.max_pool2d(x, 3, stride=2)
        x = torch.relu(self.bn2(self.conv2(x)))
        x = F.max_pool2d(x, 3, stride=2)
        x = torch.relu(self.bn3(self.conv3(x)))
        x = torch.relu(self.bn4(self.conv4(x)))
        x = self.conv5(x)
        return x

# Load and run
state_dict = torch.load(MODEL_PATH, map_location="cpu")
model = SiamFCModel(state_dict).to("npu:0")
model.eval()

test_input = torch.randn(1, 3, 255, 255).to("npu:0")
with torch.no_grad():
    output = model(test_input)

print(f"Output shape: {output.shape}")  # torch.Size([1, 256, 22, 22])

SiamFC 跟踪流程

# 提取 exemplar 特征
exemplar = torch.randn(1, 3, 127, 127).to("npu:0")  # 127x127 exemplar
exemplar_feat = model(exemplar)  # [1, 256, 6, 6]

# 提取 search 区域特征
search = torch.randn(1, 3, 255, 255).to("npu:0")  # 255x255 search
search_feat = model(search)  # [1, 256, 22, 22]

# 交叉相关计算响应图
response = F.conv2d(search_feat, exemplar_feat)
print(f"Response shape: {response.shape}")  # [1, 1, H, W]

推理参数配置

  • 输入尺寸: 255 x 255 (搜索区域)
  • 输出尺寸: 22 x 22 (特征图)
  • 特征通道: 256
  • 步长: 8 (用于跟踪定位)

常见问题

Q: 精度测试失败?

A: 检查 NPU 驱动是否正确安装,确保 CANN 环境变量已 source。0.05-0.1% 的数值误差是正常的,因为 NPU 和 CPU 使用不同的计算精度。

Q: 首次推理时间很长?

A: 首次推理需要 JIT 编译和算子加载,约 5-6 秒。后续推理会显著加速 (0.0017 秒)。

Q: 分组卷积是什么?

A: 分组卷积将输入通道分成多组,每组独立卷积。SiamFC 使用 groups=2,减少 50% 的计算量和参数量。

Q: 模型输出的特征有什么用?

A: SiamFC 跟踪器通过交叉相关 (cross-correlation) 计算搜索区域与 exemplar 的相似度,响应图峰值位置即为目标位置。

参考链接

  • 原始模型: https://modelscope.cn/datasets/ly261666/3rd_Anti-UAV
  • SiamFC 论文: https://arxiv.org/abs/1606.09549
  • CVPR23 3rd Anti-UAV Workshop: https://github.com/ly19965/CVPR_Anti_UAV

许可证

本项目遵循 MIT 许可证