StructBERT Siamese UIE 模型，基于 BERT 架构（6 层），用于中文信息抽取任务。
| 指标 | 值 |
|---|---|
| 余弦相似度（隐藏层） | 0.999999 |
| 余弦相似度（池化层） | 1.000000 |
| 平均延迟 | 3.65 ms |
| 参数量 | ~85M |
| 推理精度 | float32 |
| 设备 | Ascend 910B4 |
| 组件 | 版本 |
|---|---|
| CANN | 8.5.1 |
| torch_npu | 2.9.0.post1 |
| PyTorch | 2.9.0 |
| Python | 3.11 |
| transformers | required |
export ASCEND_HOME_PATH=/usr/local/Ascend/cann
export LD_LIBRARY_PATH=/usr/local/Ascend/cann/lib64:$LD_LIBRARY_PATH
python inference.py --device npu:0 --dtype float32NPU 推理输出（float32）:
模型: iic/nlp_structbert_siamese-aoe_chinese-base
设备: npu:0
精度: float32
------------------------------------------------------------
last_hidden_state: shape=torch.Size([1, 27, 768])
pooler_output: shape=torch.Size([1, 768])
pooler (first 10): [0.3297, 0.3021, 0.1032, -0.0049, 0.1991, 0.5550, -0.1100, 0.0395, 0.2218, -0.4406]
Cosine Similarity (hidden): 0.999999
Cosine Similarity (pooler): 1.000000
✓ 推理完成
平均延迟: 3.65 ms| 指标 | CPU (float32) | NPU (float32) | 误差 |
|---|---|---|---|
| 余弦相似度（隐藏层） | 基准 | 0.999999 | < 0.001% |
| 余弦相似度（池化层） | 基准 | 1.000000 | 0 |
| 输出维度 | [1,27,768] | [1,27,768] | 一致 |
本适配由 batch-adapter 自动完成。