OrdalieTech_Solon-embeddings-mini-beta-1.1

1. 简介

本文档记录 OrdalieTech/Solon-embeddings-mini-beta-1.1 在昇腾 NPU（Ascend910）环境的快速部署与验证结果。

2. 验证环境

组件	版本
torch	≥2.1.0
torch_npu	≥2.1.0
transformers	≥4.37.0
CANN	8.5.RC1

NPU：Ascend910B（单卡）

3. 快速部署

3.1 环境准备

pip install transformers torch

3.2 推理代码

import torch
from transformers import AutoTokenizer, AutoModel

device = torch.device("npu:0")
model_name = "OrdalieTech/Solon-embeddings-mini-beta-1.1"

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModel.from_pretrained(model_name, trust_remote_code=True)
model = model.to(device).eval()

texts = ["Hello world"]
inputs = tokenizer(texts, return_tensors="pt", padding=True, truncation=True, max_length=128)
inputs = {k: v.to(device) for k, v in inputs.items()}

with torch.no_grad():
    outputs = model(**inputs)
embeddings = outputs.last_hidden_state[:, 0, :]
print(f"嵌入维度: {embeddings.shape}")

4. 精度评测

NPU 与 CPU logits 数值一致性对比：

指标	值
Top-1 一致性	4/4
最大 Logit 差异比率	0.0
最小余弦相似度	0.99999994
结论	通过

5. 性能参考

指标	值
硬件	Ascend 910B
平均推理时间	11.03ms

OrdalieTech_Solon-embeddings-mini-beta-1.1

1. 简介

本文档记录 OrdalieTech/Solon-embeddings-mini-beta-1.1 在昇腾 NPU（Ascend910）环境的快速部署与验证结果。

2. 验证环境

组件	版本
torch	≥2.1.0
torch_npu	≥2.1.0
transformers	≥4.37.0
CANN	8.5.RC1

NPU：Ascend910B（单卡）

3. 快速部署

3.1 环境准备

pip install transformers torch

3.2 推理代码

import torch
from transformers import AutoTokenizer, AutoModel

device = torch.device("npu:0")
model_name = "OrdalieTech/Solon-embeddings-mini-beta-1.1"

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModel.from_pretrained(model_name, trust_remote_code=True)
model = model.to(device).eval()

texts = ["Hello world"]
inputs = tokenizer(texts, return_tensors="pt", padding=True, truncation=True, max_length=128)
inputs = {k: v.to(device) for k, v in inputs.items()}

with torch.no_grad():
    outputs = model(**inputs)
embeddings = outputs.last_hidden_state[:, 0, :]
print(f"嵌入维度: {embeddings.shape}")

4. 精度评测

NPU 与 CPU logits 数值一致性对比：

指标	值
Top-1 一致性	4/4
最大 Logit 差异比率	0.0
最小余弦相似度	0.99999994
结论	通过

5. 性能参考

指标	值
硬件	Ascend 910B
平均推理时间	11.03ms