与嵌入模型不同,重排序器以问题和文档作为输入,直接输出相似度而非嵌入。bge-reranker-v2-m3是轻量级重排序模型,具备强大的多语言能力,易于部署,具有快速推理能力。,
| 环境配置 | 配置说明 |
|---|---|
| 硬件配置 | Atlas 800T A2 910B2(64G) |
| 驱动版本 | 23.0.5.1 |
| CANN版本 | 8.2.RC1 |
| Python版本 | 3.11.6 |
| torch版本 | 2.1.0 |
| 推理框架 | torch-npu |
| 推理镜像 | 见https://ai.gitcode.com/Ascend-SACT/bge-m3/blob/main/videoimage5.tar |
| 部署方式 | 单卡 |
| 配套 | 版本 |
|---|---|
| FlagEmbedding | 1.2.11 |
| numpy | 1.26.4 |
| transformers | 4.44.0 |
| torchvision | 0.16.0 |
修改bge_rerank.py脚本中模型路径:
MODEL_PATH = "模型权重实际所在路径"运行python3 bge_rerank.py完成测试。