XiaYuanOwO/yunque-embed-v1-static
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

Yunque Embed v1 (Static)

Yunque Embed v1 Static 是 yunque-embed-v1 的轻量级蒸馏版本,基于 Model2Vec 技术将 Transformer 编码器转换为静态词向量表,推理时仅需查表+平均池化,无需神经网络前向传播。

模型信息

项目详情
模型名称yunque-embed-v1-static
来源模型yunque-embed-v1
底座模型BAAI/bge-base-zh-v1.5 (智源)
蒸馏方法Model2Vec
维度256 (PCA 降维)
词表大小21,026
模型大小~10.8MB
许可证Apache-2.0

快速开始

from model2vec import StaticModel

model = StaticModel.from_pretrained("path/to/yunque-embed-v1-static")
embeddings = model.encode(["人工智能", "深度学习", "苹果"])
print(embeddings.shape)  # (3, 256)

# 语义相似度
import numpy as np
sim = lambda a,b: float(np.dot(a,b) / (np.linalg.norm(a) * np.linalg.norm(b)))
print(sim(embeddings[0], embeddings[1]))  # AI vs 深度学习: 0.48
print(sim(embeddings[0], embeddings[2]))  # AI vs 苹果: 0.26

与完整版对比

特性yunque-embed-v1 (完整)yunque-embed-v1-static (蒸馏)
大小~410MB~10.8MB
维度768256
推理方式Transformer 前向传播查表 + 平均池化
速度~250ms/3条~1ms/3条
精度高略有下降,仍可接受
适用场景高精度生产环境边缘设备、低延迟、移动端

蒸馏过程

python distill.py --model ./yunque-embed-v1 --out ./yunque-embed-v1-static --dims 256
  • 编码所有词表 token 的 embedding
  • PCA 降维到 256 维
  • 保存为静态向量表

致谢

  • 完整模型:yunque-embed-v1
  • 底座模型:BAAI/bge-base-zh-v1.5
  • 蒸馏工具:Model2Vec

许可证

Apache-2.0