anning-2026/layoutlm-funsd
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

philschmid/layoutlm-funsd 昇腾 NPU 部署文档

1. 模型简介

模型名称: philschmid/layoutlm-funsd(LayoutLM 微调:FUNSD 表单问答标注) 模型链接: https://huggingface.co/philschmid/layoutlm-funsd 论文: LayoutLM: Pre-training of Text and Layout for Document Image Understanding 模型描述: LayoutLM 是文档理解模型,联合建模文本与布局(2D 位置)信息。本模型在 FUNSD(表单理解)数据集上微调,做 token 级标签分类:输入文档单词序列 + 每个词的归一化 bbox(0-1000),输出每个 token 的标签(O / B-HEADER / I-HEADER / B-QUESTION / I-QUESTION / B-ANSWER / I-ANSWER)。 模型架构: LayoutLM(BERT 架构 + 2D 位置嵌入:12 层 768 维 12 头,max_position_embeddings 512) 参数规模: ~430MB(pytorch_model.bin 450,606,565 字节,113.1M params) 适配引擎: torch_npu(昇腾 NPU 推理引擎)

2. 环境依赖

依赖项版本说明
torch2.9.0
torch_npu2.9.0.post1
transformers4.40.1LayoutLMForTokenClassification + LayoutLMTokenizerFast
fastapi / uvicorn / pydantic-服务化推理(server.py)

注:本模型是 transformers 标准格式(pytorch_model.bin + config.json + tokenizer.json),权重与配置放 /tmp/layoutlm-funsd/。

3. 推理步骤

# 内置 FUNSD 风格示例(默认 npu:0)
python inference.py --device npu:0

推理流程:LayoutLMForTokenClassification.from_pretrained(local_dir) → LayoutLMTokenizerFast.from_pretrained(local_dir) → 分词 + word_ids 手动对齐构造 bbox → model(input_ids, attention_mask, bbox) → token 级 logits → argmax 标签。

4. 测试样例及输出结果

以下输出为在昇腾 Ascend 910(CANN 8.5.1 + torch_npu 2.9.0 + transformers 4.40.1)上实测获得(FUNSD 风格示例 7 个词:Name/John/Doe/Date/2024/01/15 + 归一化 bbox)。

命令:

python inference.py --device npu:0

输出:

[INFO] 模型加载完成: LayoutLMForTokenClassification (113.1M params, device=npu:0) [INFO] 输入文档: 7 个词, boxes 已归一化 [结果] logits shape: (1, 512, 7) [结果] token 级标签(前 12 个 token): name -> 0 : -> 0 john -> 0 doe -> 0 date -> 0 : -> 0 202 -> 0 ##4 -> 0 01 -> 0 15 -> 0 [耗时] 0.156s(7 个词)

结果说明: 文档单词 + 布局坐标输入,LayoutLM 输出每个 token 的标签(本示例文本为非表单内容,预测均为 O 是合理的),0.156s 完成,验证了 layoutlm-funsd 在昇腾 NPU 上的文档理解推理链路通畅。

5. Agent 适配截图

Agent 适配流程 NPU 设备调用 模型适配结果

6. 服务化推理

python server.py --port 8000 --device npu:0

接口:

  • GET /health → {"status":"ok","model":"philschmid/layoutlm-funsd","device":"npu:0","loaded":true}
  • POST /ner(JSON:{"words":["Name:","John","Doe"], "boxes":[[0,10,100,60],[110,10,200,60],[210,10,300,60]]})→ {"labels":[{"token":..., "label":...}], "n_tokens":..., "elapsed_s":...}

实测(服务化):

  • POST /ner(Name:/John/Doe)→ {"labels":[{"token":"name","label":"3"},{"token":":","label":"4"},{"token":"john","label":"5"},{"token":"doe","label":"6"}],"n_tokens":4,"elapsed_s":0.176}

7. 注意事项

  • 模型权重位于 /tmp/layoutlm-funsd/(pytorch_model.bin 430MB + config.json + tokenizer.json + preprocessor_config.json),避免占用有限的 /opt 空间,不纳入本仓库
  • bbox 构造——LayoutLMTokenizerFast(标准 PreTrainedTokenizerFast 子类)不支持 boxes 参数,需分词后按 word_ids() 手动对齐构造 bbox 张量(subword 继承所属词的 bbox,[CLS]/[SEP]/[PAD] 用 [0,0,0,0]),传入模型 bbox 输入
  • bbox 为归一化坐标(0-1000),[x0, y0, x1, y1] 格式;真实场景由 OCR(tesseract)从文档图像提取单词与坐标
  • 模型在 FUNSD 数据集微调(7 类标签:O/HEADER/QUESTION/ANSWER 的 B/I 前缀),可直接用于表单文档理解