1
gcw_xUvjaUyi/layoutlm-funsd-npu
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

philschmid/layoutlm-funsd — 昇腾 Ascend NPU 适配

在昇腾 Ascend 910 (torch_npu, npu:0) 上运行 LayoutLM 表单实体识别 (token classification) 模型 philschmid/layoutlm-funsd。

  • 模型: philschmid/layoutlm-funsd(镜像: hf-mirror.com)
  • 架构: LayoutLMForTokenClassification(hidden_size=768, 12 层, 12 头, vocab=30522, model_type=layoutlm)
  • 任务: 表单实体识别,识别 HEADER / QUESTION / ANSWER 三类实体(BIO 标签,共 7 类)
  • 语言: 英文
  • 设备: 昇腾 Ascend 910 (torch_npu 2.9.0),固定 npu:0,代码无任何 CUDA 调用

环境要求

  • Python 3.10+
  • torch 2.9.0+cpu 与 torch_npu 2.9.0.post1(Ascend CANN 环境)
  • transformers 4.57.6
  • fastapi / uvicorn / python_multipart
  • 依赖见 requirements.txt

输入格式(无 OCR,直接提供版面信息)

JSON 中给出每行/每词的文本 tokens 与 0~1000 归一化坐标框 boxes([x0, y0, x1, y1] 整数):

{
  "tokens": ["INVOICE", "No.", "1029", "DATE", "2023-06-15"],
  "boxes": [[400, 40, 620, 100], [60, 150, 140, 190], [150, 150, 250, 190], [300, 150, 390, 190], [400, 150, 560, 190]]
}

LayoutLMTokenizer(BERT WordPiece)会把 word 拆成 subword,并把该 word 的 box 复制到每个 subword,再在首尾加 [CLS]/[SEP]。

快速开始

1. 权重下载(本地缓存优先)

权重缓存目录:./model_weights/philschmid__layoutlm-funsd/。程序启动时优先加载本地缓存,未命中才从镜像下载:

export HF_ENDPOINT=https://hf-mirror.com
python3 -c "
from huggingface_hub import snapshot_download
snapshot_download('philschmid/layoutlm-funsd', local_dir='./model_weights/philschmid__layoutlm-funsd', max_workers=2)
"

2. CLI 推理

python3 inference.py --json demo.json
# 或
python3 inference.py --text "Invoice No. 1029"

输出逐 token 预测(标签 + 置信度 + bbox)以及按 BIO 聚合的 HEADER/QUESTION/ANSWER 实体列表。

3. FastAPI 服务

uvicorn inference:app --host 0.0.0.0 --port 8102
  • POST /predict:Content-Type: application/json,body 为上述 {"tokens": [...], "boxes": [...]}。
  • POST /predict/upload:multipart 上传 .json 文件(字段名 file)。
  • 交互式文档: http://127.0.0.1:8102/docs
curl -s -X POST http://127.0.0.1:8102/predict -H "Content-Type: application/json" -d @demo.json

输出示例

{
  "model": "philschmid/layoutlm-funsd",
  "device": "npu:0",
  "task": "form_entity_recognition",
  "num_tokens": 11,
  "labels": {"0": "O", "1": "B-HEADER", "2": "I-HEADER", "3": "B-QUESTION", "4": "I-QUESTION", "5": "B-ANSWER", "6": "I-ANSWER"},
  "tokens": [
    {"token": "[CLS]", "label": "O", "score": 1.0, "bbox": [0, 0, 0, 0]},
    {"token": "invoice", "label": "B-HEADER", "score": 0.998, "bbox": [400, 40, 620, 100]}
  ],
  "entities": [
    {"type": "HEADER", "text": "INVOICE", "score": 0.998, "token_indices": [1]},
    {"type": "QUESTION", "text": "No.", "score": 0.993, "token_indices": [2]}
  ]
}

目录结构

layoutlm-funsd-npu/
├── inference.py            # CLI + FastAPI 双模式入口
├── demo.json               # 模拟发票表单 demo 输入
├── requirements.txt
├── .gitignore              # 排除 model_weights/ logs/ __pycache__/
├── assets/                 # 截图
└── model_weights/          # 权重缓存(不入库)

声明

  • 本工程仅在昇腾 Ascend NPU 上运行,代码无 CUDA 调用。
  • 模型权重版权归原作者,本仓库只提交适配代码,不包含大权重文件。