bge-large-zh-v1.5属于Embedding模型，主要用于将文本（如句子或段落）转换为高维向量，以便通过向量相似度进行语义检索。它通过生成文本的向量表示，实现初步的语义匹配。
| 环境配置 | 配置说明 |
|---|---|
| 硬件配置 | Atlas 800T A2 910B2(64G) |
| 驱动版本 | 23.0.5.1 |
| CANN版本 | 8.2.RC1 |
| Python版本 | 3.11.6 |
| torch版本 | 2.1.0 |
| 推理框架 | torch-npu |
| 推理镜像 | 见https://ai.gitcode.com/Ascend-SACT/bge-m3/blob/main/videoimage5.tar |
| 部署方式 | 单卡 |
| 配套 | 版本 |
|---|---|
| FlagEmbedding | 1.2.11 |
| numpy | 1.26.4 |
| transformers | 4.44.0 |
| torchvision | 0.16.0 |
修改bge_large_serve.py脚本中模型路径：
embedding_model_dir = "bge-large-zh-v1.5权重所在路径"
rerank_model_dir = "bge-reranker-v2-m3权重所在路径"
m3_embedding_model_dir = "bge-m3权重所在路径"运行python3 bge_large_serve.py &拉起服务化，运行python3 bge_large_client.py完成测试。