本文档记录 KBLab/megatron.bert-base.wordpiece-64k-no_pretok.25k-steps 在昇腾 NPU（Ascend910）环境的快速部署与验证结果。
AutoModel 文本嵌入模型，基于 HuggingFace transformers 框架，支持将文本转换为固定维度的语义向量，适用于句子相似度计算、语义检索等场景。
相关获取地址：
参考文档：
| 组件 | 版本 |
|---|---|
torch | 2.5.1 |
torch_npu | 2.5.1 |
transformers | >=4.48.0 |
CANN | 8.5.RC1 |
PyTorch + transformerspip install transformers torchimport torch
from transformers import AutoTokenizer, AutoModel
device = torch.device("npu:0" if torch.npu.is_available() else "cpu")
tokenizer = AutoTokenizer.from_pretrained("KBLab/megatron.bert-base.wordpiece-64k-no_pretok.25k-steps", trust_remote_code=True)
model = AutoModel.from_pretrained("KBLab/megatron.bert-base.wordpiece-64k-no_pretok.25k-steps", trust_remote_code=True)
model = model.to(device).eval()
texts = ["What is machine learning?", "Hello world"]
inputs = tokenizer(texts, return_tensors="pt", padding=True, truncation=True, max_length=128)
inputs = {k: v.to(device) for k, v in inputs.items()}
with torch.no_grad():
outputs = model(**inputs)
embeddings = outputs.pooler_output if hasattr(outputs, 'pooler_output') and outputs.pooler_output is not None else outputs.last_hidden_state[:, 0, :]
print(f"嵌入维度: {embeddings.shape}")python3 inference.py验证结果：
npu:0NPU 与 CPU 输出对比，使用测试文本比较嵌入向量的 cosine 相似度与逐元素误差。
| 指标 | 数值 |
|---|---|
| 最大 logits 相对误差 | 0.001% |
| Avg KL Divergence | 0.000000 |
| 结论 | PASS |
精度要求：logits 相对误差 < 1%。
测试条件：FP32 / batch=8 / max_length=128 / warmup=5 / timed=50 runs，Ascend910 单卡。
| 指标 | 数值 |
|---|---|
| 平均推理时间 | 7.49 ms |
| 测试次数 | 50 |
AutoModel 加载，输出 pooler_output 或 last_hidden_state 作为句子嵌入FP16 混合精度推理以提升性能