mxy-yy/table-transformer-structure-recognition-v1.1-all-npu

table-transformer-structure-recognition-v1.1-all Ascend NPU 部署指南

项目简介

table-transformer-structure-recognition-v1.1-all 是基于 Table Transformer 的表格检测与结构识别模型，能够在文档图像中检测表格区域并识别表格结构。该模型基于 DETR (Detection Transformer) 架构，适用于处理各种复杂表格。

特性

支持 Ascend NPU 推理加速
CPU vs NPU 精度对比测试 (误差 < 1%)
表格检测与结构识别
兼容 HuggingFace transformers
25.07x 加速比

环境要求

硬件: 华为 Ascend 910 系列 NPU
CANN: 8.0.RC1 或更高版本
PyTorch: 2.0+ with torch_npu
transformers: 4.56+
Pillow, numpy

目录结构

table-transformer-structure-recognition-v1.1-all-ascend/
├── inference.py          # 推理测试脚本
├── test.log            # 测试日志
├── README.md           # 本文档

部署步骤

1. 设置环境变量

source /usr/local/Ascend/ascend-toolkit/set_env.sh

2. 准备模型文件

模型文件位于 /opt/atomgit/mxy/table-transformer-structure-recognition-v1.1-all/microsoft/table-transformer-structure-recognition-v1___1-all/ 目录下：

model.safetensors - 模型权重 (约 115MB)
config.json - 模型配置
preprocessor_config.json - 图像预处理配置

3. 安装依赖

pip install transformers torch_npu pillow numpy

使用方式

方式一：普通推理模式

运行推理脚本进行表格检测：

cd /opt/atomgit/mxy/table-transformer-structure-recognition-v1.1-all-ascend/

python3 inference.py

python3 inference.py --mode inference

方式二：精度测试模式 (CPU vs NPU)

运行精度对比测试：

cd /opt/atomgit/mxy/table-transformer-structure-recognition-v1.1-all-ascend/

python3 inference.py --mode precision_test

命令行参数说明

参数	说明	默认值
`--mode`	测试模式: all, inference 或 precision_test	`all`

测试验证

精度测试结果

指标	实测值	阈值	状态
最大相对误差	0.0212%	< 1.00%	PASS
CPU 推理时间	1.201s	-	-
NPU 推理时间	0.048s	-	-
加速比	25.07x	> 1x	PASS

推理结果示例

输入: 文档图像 (480x640)

输出:

Logits shape: torch.Size([1, 125, 7])
Predicted boxes shape: torch.Size([1, 125, 4])
125 个潜在检测结果，每个包含 7 个类别 + 4 个边界框坐标

Python API 使用示例

基本推理

import torch
from PIL import Image
from transformers import AutoImageProcessor, TableTransformerForObjectDetection

MODEL_DIR = "/opt/atomgit/mxy/table-transformer-structure-recognition-v1.1-all/microsoft/table-transformer-structure-recognition-v1___1-all"

processor = AutoImageProcessor.from_pretrained(MODEL_DIR)
model = TableTransformerForObjectDetection.from_pretrained(MODEL_DIR)
model = model.to("npu:0").eval()

image = Image.open("document.jpg").convert("RGB")
inputs = processor(images=image, return_tensors="pt")
inputs = {k: v.to("npu:0") for k, v in inputs.items()}

with torch.no_grad():
    outputs = model(**inputs)

logits = outputs.logits
pred_boxes = outputs.pred_boxes
print(f"Detected {logits.shape[1]} table instances")

模型结构

架构类型: Table Transformer (DETR-based)
骨干网络: ResNet (4 stages)
Transformer: 6 层编码器 + 6 层解码器
隐藏层维度: 256
输出: 125 个检测框 + 类别 logits

组件	说明
backbone	ResNet 特征提取器
transformer	DETR Transformer
class_embed	类别预测头
bbox_embed	边界框预测头

推理参数配置

从 config.json 提取的关键参数:

{
  "hidden_size": 256,
  "d_model": 256,
  "decoder_attention_heads": 8,
  "decoder_ffn_dim": 2048,
  "decoder_layers": 6,
  "encoder_attention_heads": 8
}

常见问题

Q: 精度测试失败?

A: 检查 NPU 驱动是否正确安装。Table Transformer 模型在 CPU 和 NPU 上的数值误差极小（< 0.03%），远低于 1% 阈值。

Q: 如何提高推理速度?

A: NPU 相比 CPU 有显著加速（25x），适合批量处理场景。

Q: 输出框太多怎么办?

A: 可以根据 logits 的置信度进行过滤，只保留高置信度的检测结果。

参考链接

原始模型: https://huggingface.co/microsoft/table-transformer-structure-recognition-v1.1-all
Table Transformer 论文: https://arxiv.org/abs/2110.00008
HuggingFace Transformers: https://huggingface.co/transformers

许可证

本项目遵循 Apache-2.0 许可证