Ascend-SACT/bge-reranker-v2-m3
模型介绍文件和版本Pull Requests讨论分析
下载使用量0

1 模型介绍

与嵌入模型不同,重排序器以问题和文档作为输入,直接输出相似度而非嵌入。bge-reranker-v2-m3是轻量级重排序模型,具备强大的多语言能力,易于部署,具有快速推理能力。,

2 环境准备

环境配置配置说明
硬件配置Atlas 800T A2 910B2(64G)
驱动版本23.0.5.1
CANN版本8.2.RC1
Python版本3.11.6
torch版本2.1.0
推理框架torch-npu
推理镜像见https://ai.gitcode.com/Ascend-SACT/bge-m3/blob/main/videoimage5.tar
部署方式单卡
配套版本
FlagEmbedding1.2.11
numpy1.26.4
transformers4.44.0
torchvision0.16.0

3 测试脚本使用方法

修改bge_rerank.py脚本中模型路径:

MODEL_PATH = "模型权重实际所在路径"

运行python3 bge_rerank.py完成测试。