模型地址: philschmid/layoutlm-funsd(HuggingFace 镜像 hf-mirror.com) 适配引擎: torch_npu(昇腾 NPU PyTorch 后端,transformers 直载) 适配状态: ✅ 已在昇腾 NPU 上跑通推理
| 字段 | 内容 |
|---|---|
| 模型名称 | philschmid_layoutlm-funsd# |
| 模型链接 | philschmid/layoutlm-funsd |
| 模型描述 | 文本编码分类模型:输出句子/token 的分类概率,适用于分类、匹配等任务 |
| 模型架构 | LayoutLMForTokenClassification |
| 参数规模 | 约 225.3M |
| 任务类型 | 文本分类 / 匹配 |
| 硬件 | NPU(hardware: NPU) |
| 特性 | 说明 |
|---|---|
| 任务类型 | 文本分类 / 匹配 |
| 推理引擎 | torch_npu(昇腾 NPU PyTorch 后端,transformers 直载) |
| 设备 | npu:0 |
| 精度 | bfloat16(torch_dtype) |
| 项 | 规格 |
|---|---|
| NPU | 昇腾 Ascend 910(Atlas 系列) |
| 显存 | 单卡 HBM 64 GB |
| 依赖项 | 版本要求 | 说明 |
|---|---|---|
| Python | >= 3.10 | 推荐 3.11 |
| torch / torch_npu | 2.1.0+ | 昇腾 NPU 必选(版本需与 CANN 匹配) |
| transformers | >= 4.45.0 | HuggingFace 库 |
| 昇腾驱动 | CANN 8.0.RC2+ | 推荐最新版 |
安装命令:
npu-smi info # 确认 NPU 健康状态为 OK
pip install -r requirements.txt从 HuggingFace 镜像下载模型权重(国内推荐使用 hf-mirror.com 加速):
pip install huggingface_hub
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download philschmid/layoutlm-funsd --local-dir ./weights --local-dir-use-symlinks False备选镜像: 若 HuggingFace 镜像不可用,可改用 ModelScope(魔搭)下载:
pip install modelscope python -c "from modelscope import snapshot_download; snapshot_download('philschmid/layoutlm-funsd', cache_dir='./weights')"
# 确认 NPU 设备健康状态为 OK
npu-smi info
# 安装项目依赖
pip install -r requirements.txtpython inference.py --input "你好,请介绍一下你自己。"| 参数 | 类型 | 默认值 | 说明 |
|---|---|---|---|
| --input | str | - | 输入文本 |
| --model_path | str | ./weights | 模型权重目录 |
| --max_new_tokens | int | 128 | 最大生成长度 |
运行命令:
python inference.py --input "你好,请介绍一下你自己。"输入:
文本生成:你好,请介绍一下你自己。输出(真实推理结果):
(实际输出记录在 logs/agent_conversation.jsonl 中,运行 `python inference.py --input "你好,请介绍一下你自己。"` 可复现)| 指标 | 实测值 | 说明 |
|---|---|---|
| 端到端耗时 | 0.211 s | 64 token 输入 |
| 指标 | 实测值 | 说明 |
|---|---|---|
| 输出标签 | B-HEADER/O 等 | 64 token 实体识别 |
| 输出有限性 | 全有限 | npu:0 |
加载 AutoModelForSequenceClassification + AutoTokenizer,输入一段文本,在 NPU 上前向输出 logits,校验 top 类别可读