本文档记录 gw0125/granite-embedding-30m-libya 在昇腾 NPU（Ascend910）环境的快速部署与验证结果。
RobertaModel 文本向量模型，基于 HuggingFace transformers 框架，支持文本特征提取与语义匹配。
相关获取地址：
参考文档：
| 组件 | 版本 |
|---|---|
torch | 2.5.1 |
torch_npu | 2.5.1 |
transformers | >=4.48.0 |
CANN | 8.5.RC1 |
384514PyTorch + transformerspip install transformers torch torchvision sentence-transformersimport torch
from transformers import AutoModel, AutoTokenizer
device = torch.device("npu:0" if torch.npu.is_available() else "cpu")
tokenizer = AutoTokenizer.from_pretrained("gw0125/granite-embedding-30m-libya")
model = AutoModel.from_pretrained("gw0125/granite-embedding-30m-libya")
model = model.to(device).eval()
sentences = ["今天天气怎么样", "如何学习编程"]
inputs = tokenizer(sentences, padding=True, truncation=True, return_tensors="pt")
inputs = {k: v.to(device) for k, v in inputs.items()}
with torch.no_grad():
outputs = model(**inputs)
embeddings = outputs.last_hidden_state.mean(dim=1)
print(f"Embedding shape: {embeddings.shape}")python3 inference.py验证结果：
npu:0测试条件：FP32 / batch=8 / warmup=5 / timed=100 runs，Ascend910 单卡。
| 指标 | 数值 |
|---|---|
| 平均推理时间 | 3.61 ms |
| QPS（每秒查询） | 2218.48 |
| 测试次数 | 100 |
NPU 与 CPU 输出对比，使用 8 条测试文本，比较 embedding 余弦相似度。
| 指标 | 数值 |
|---|---|
| 平均余弦相似度 | 0.999991 |
| 最低余弦相似度 | 0.99999 |
| 最大向量差异 | 0.065079 |
| 平均向量差异 | 0.008908 |
| 结论 | PASS |
pooler_output