Yunque Embed v1 Static 是 yunque-embed-v1 的轻量级蒸馏版本,基于 Model2Vec 技术将 Transformer 编码器转换为静态词向量表,推理时仅需查表+平均池化,无需神经网络前向传播。
| 项目 | 详情 |
|---|---|
| 模型名称 | yunque-embed-v1-static |
| 来源模型 | yunque-embed-v1 |
| 底座模型 | BAAI/bge-base-zh-v1.5 (智源) |
| 蒸馏方法 | Model2Vec |
| 维度 | 256 (PCA 降维) |
| 词表大小 | 21,026 |
| 模型大小 | ~10.8MB |
| 许可证 | Apache-2.0 |
from model2vec import StaticModel
model = StaticModel.from_pretrained("path/to/yunque-embed-v1-static")
embeddings = model.encode(["人工智能", "深度学习", "苹果"])
print(embeddings.shape) # (3, 256)
# 语义相似度
import numpy as np
sim = lambda a,b: float(np.dot(a,b) / (np.linalg.norm(a) * np.linalg.norm(b)))
print(sim(embeddings[0], embeddings[1])) # AI vs 深度学习: 0.48
print(sim(embeddings[0], embeddings[2])) # AI vs 苹果: 0.26| 特性 | yunque-embed-v1 (完整) | yunque-embed-v1-static (蒸馏) |
|---|---|---|
| 大小 | ~410MB | ~10.8MB |
| 维度 | 768 | 256 |
| 推理方式 | Transformer 前向传播 | 查表 + 平均池化 |
| 速度 | ~250ms/3条 | ~1ms/3条 |
| 精度 | 高 | 略有下降,仍可接受 |
| 适用场景 | 高精度生产环境 | 边缘设备、低延迟、移动端 |
python distill.py --model ./yunque-embed-v1 --out ./yunque-embed-v1-static --dims 256Apache-2.0