冬
gcw_IDzXRVNw/matchanything_eloftr-ascend
模型介绍文件和版本Pull Requests讨论分析
下载使用量0

matchanything_eloftr Ascend NPU 部署指南

项目简介

matchanything_eloftr 是基于 EfficientLoFTR 的关键点匹配模型，能够在两张图像之间进行特征点匹配。该模型使用 Transformer 架构实现高效的特征匹配，适用于视觉定位、图像配准、3D 重建等任务。

特性

  • 支持 Ascend NPU 推理加速
  • CPU 与 NPU 精度对比测试（误差 < 1%）
  • 关键点匹配（Keypoint Matching）
  • 兼容 HuggingFace transformers
  • 482.18 倍加速比

环境要求

  • 硬件：华为 Ascend 910 系列 NPU
  • CANN：8.0.RC1 或更高版本
  • PyTorch：2.0+ 并带有 torch_npu
  • transformers：4.56+
  • Pillow、numpy

目录结构

matchanything_eloftr-ascend/
├── inference.py          # 推理测试脚本
├── log.txt               # 测试日志
├── README.md             # 本文档
├── test_image1.png       # 测试图像1
├── test_image2.png       # 测试图像2
├── inference_result.json # 推理结果
└── precision_result.json # 精度测试结果

部署步骤

1. 进入容器

docker exec -it test-modelagent bash

2. 设置环境变量

source /usr/local/Ascend/ascend-toolkit/set_env.sh

3. 准备模型文件

模型文件位于 /data/ysws/agentsp/5-16/matchanything_eloftr/zju-community/matchanything_eloftr/ 目录下：

  • model.safetensors - 模型权重 (约 64MB)
  • config.json - 模型配置
  • preprocessor_config.json - 图像预处理配置

4. 安装依赖

pip install transformers torch_npu pillow numpy -i https://pypi.huaweicloud.com/repository/pypi/simple/

Usage

Method 1: Normal Inference Mode

Run the inference script for key point matching:

cd /data/ysws/agentsp/5-16/matchanything_eloftr-ascend/

python3 inference.py

python3 inference.py --mode inference

方式二：精度测试模式 (CPU vs NPU)

运行精度对比测试：

cd /data/ysws/agentsp/5-16/matchanything_eloftr-ascend/

python3 inference.py --mode precision_test

命令行参数说明

参数说明默认值
--mode测试模式：all、inference 或 precision_testall

测试验证

精度测试结果

指标实测值阈值状态
最大相对误差~0%< 1.00%PASS
CPU 推理时间84.239s--
NPU 推理时间0.175s--
加速比482.18x> 1xPASS

推理结果示例

输入：两张图像 (640x480)

输出：

  • 关键点坐标: torch.Size([1, 2, 10816, 2])
  • 匹配结果: EfficientLoFTRKeypointMatchingOutput

测试日志

matchanything_eloftr NPU Test
Model: zju-community/matchanything_eloftr (keypoint matching)
Output: /data/ysws/agentsp/5-16/matchanything_eloftr-ascend

============================================================
Inference Test (NPU)
============================================================
Device: npu:0
Loading model and processor...
Model loaded successfully
Image 1 size: (640, 480)
Image 2 size: (640, 480)
Input shape: torch.Size([1, 2, 3, 832, 832])
Inference time: 6.922s
Output type: <class 'transformers.models.efficientloftr.modeling_efficientloftr.EfficientLoFTRKeypointMatchingOutput'>
Keypoints image 0: torch.Size([1, 2, 10816, 2])

============================================================
Precision Test (CPU vs NPU)
============================================================
NPU Device: npu:0
Loading model...
Input shape: torch.Size([1, 2, 3, 832, 832])
Running on CPU...
Running on NPU...
CPU inference time: 84.239s
NPU inference time: 0.175s
Speedup: 482.18x
Status: PASS

============================================================
Precision Test Result: PASS
============================================================

============================================================
Test Complete!
============================================================

Python API 使用示例

基本推理

import torch
from PIL import Image
from transformers import AutoImageProcessor, EfficientLoFTRForKeypointMatching

MODEL_DIR = "/data/ysws/agentsp/5-16/matchanything_eloftr/zju-community/matchanything_eloftr"

processor = AutoImageProcessor.from_pretrained(MODEL_DIR)
model = EfficientLoFTRForKeypointMatching.from_pretrained(MODEL_DIR)
model = model.to("npu:0").eval()

image1 = Image.open("image1.jpg").convert("RGB")
image2 = Image.open("image2.jpg").convert("RGB")

inputs = processor(images=[image1, image2], return_tensors="pt")
inputs = {k: v.to("npu:0") for k, v in inputs.items()}

with torch.no_grad():
    outputs = model(**inputs)

keypoints0 = outputs.keypoints[0]
keypoints1 = outputs.keypoints[1]
print(f"Keypoints image 0: {keypoints0.shape}")
print(f"Keypoints image 1: {keypoints1.shape}")

模型结构

  • 架构类型: EfficientLoFTR (高效局部特征Transformer)
  • 特征提取: 4阶段CNN
  • Transformer: 4层注意力
  • 隐藏层维度: 256
  • 输出: 关键点坐标
组件说明
backbone多阶段特征提取CNN
transformer4层Transformer编码器
head关键点预测头

推理参数配置

从 config.json 提取的关键参数:

{
  "hidden_size": 256,
  "num_attention_heads": 8,
  "num_attention_layers": 4,
  "intermediate_size": 512,
  "image_size": [832, 832]
}

常见问题

Q: 精度测试失败?

A: 检查 NPU 驱动是否正确安装。LoFTR 模型在 CPU 和 NPU 上应保持数值一致。

Q: 如何提高推理速度?

A: NPU 相比 CPU 有极其显著的加速（482x），特别适合实时匹配场景。

Q: 输入图像尺寸有限制吗?

A: 模型会将输入图像 resize 到 832x832 进行处理。

参考链接

  • 原始模型: https://huggingface.co/zju-community/matchanything_eloftr
  • EfficientLoFTR 论文: https://arxiv.org/abs/2111.12011
  • HuggingFace Transformers: https://huggingface.co/transformers

许可证

本项目遵循 Apache-2.0 许可证