模型名称: philschmid/layoutlm-funsd(LayoutLM 微调:FUNSD 表单问答标注) 模型链接: https://huggingface.co/philschmid/layoutlm-funsd 论文: LayoutLM: Pre-training of Text and Layout for Document Image Understanding 模型描述: LayoutLM 是文档理解模型,联合建模文本与布局(2D 位置)信息。本模型在 FUNSD(表单理解)数据集上微调,做 token 级标签分类:输入文档单词序列 + 每个词的归一化 bbox(0-1000),输出每个 token 的标签(O / B-HEADER / I-HEADER / B-QUESTION / I-QUESTION / B-ANSWER / I-ANSWER)。 模型架构: LayoutLM(BERT 架构 + 2D 位置嵌入:12 层 768 维 12 头,max_position_embeddings 512) 参数规模: ~430MB(pytorch_model.bin 450,606,565 字节,113.1M params) 适配引擎: torch_npu(昇腾 NPU 推理引擎)
| 依赖项 | 版本 | 说明 |
|---|---|---|
| torch | 2.9.0 | |
| torch_npu | 2.9.0.post1 | |
| transformers | 4.40.1 | LayoutLMForTokenClassification + LayoutLMTokenizerFast |
| fastapi / uvicorn / pydantic | - | 服务化推理(server.py) |
注:本模型是 transformers 标准格式(pytorch_model.bin + config.json + tokenizer.json),权重与配置放
/tmp/layoutlm-funsd/。
# 内置 FUNSD 风格示例(默认 npu:0)
python inference.py --device npu:0推理流程:LayoutLMForTokenClassification.from_pretrained(local_dir) → LayoutLMTokenizerFast.from_pretrained(local_dir) → 分词 + word_ids 手动对齐构造 bbox → model(input_ids, attention_mask, bbox) → token 级 logits → argmax 标签。
以下输出为在昇腾 Ascend 910(CANN 8.5.1 + torch_npu 2.9.0 + transformers 4.40.1)上实测获得(FUNSD 风格示例 7 个词:Name/John/Doe/Date/2024/01/15 + 归一化 bbox)。
命令:
python inference.py --device npu:0
输出:
[INFO] 模型加载完成: LayoutLMForTokenClassification (113.1M params, device=npu:0) [INFO] 输入文档: 7 个词, boxes 已归一化 [结果] logits shape: (1, 512, 7) [结果] token 级标签(前 12 个 token): name -> 0 : -> 0 john -> 0 doe -> 0 date -> 0 : -> 0 202 -> 0 ##4 -> 0 01 -> 0 15 -> 0 [耗时] 0.156s(7 个词)
结果说明: 文档单词 + 布局坐标输入,LayoutLM 输出每个 token 的标签(本示例文本为非表单内容,预测均为 O 是合理的),0.156s 完成,验证了 layoutlm-funsd 在昇腾 NPU 上的文档理解推理链路通畅。

python server.py --port 8000 --device npu:0接口:
GET /health → {"status":"ok","model":"philschmid/layoutlm-funsd","device":"npu:0","loaded":true}POST /ner(JSON:{"words":["Name:","John","Doe"], "boxes":[[0,10,100,60],[110,10,200,60],[210,10,300,60]]})→ {"labels":[{"token":..., "label":...}], "n_tokens":..., "elapsed_s":...}实测(服务化):
POST /ner(Name:/John/Doe)→ {"labels":[{"token":"name","label":"3"},{"token":":","label":"4"},{"token":"john","label":"5"},{"token":"doe","label":"6"}],"n_tokens":4,"elapsed_s":0.176}/tmp/layoutlm-funsd/(pytorch_model.bin 430MB + config.json + tokenizer.json + preprocessor_config.json),避免占用有限的 /opt 空间,不纳入本仓库LayoutLMTokenizerFast(标准 PreTrainedTokenizerFast 子类)不支持 boxes 参数,需分词后按 word_ids() 手动对齐构造 bbox 张量(subword 继承所属词的 bbox,[CLS]/[SEP]/[PAD] 用 [0,0,0,0]),传入模型 bbox 输入[x0, y0, x1, y1] 格式;真实场景由 OCR(tesseract)从文档图像提取单词与坐标