华为昇腾模型适配第2期,适配模型为 dkarthikeyan1/tcrt5_ft_tcrdb
本项目将 dkarthikeyan1/tcrt5_ft_tcrdb (TCR T5 Fine-tuned model on TCRdb) 模型适配到华为昇腾 NPU 上运行推理。
该模型是一个基于 T5 (Text-to-Text Transfer Transformer) 架构的编码器-解码器模型,专门用于 T 细胞受体 (TCR) 序列预测。模型在 TCRdb 数据集上进行了微调,能够根据输入的 TCR CDR3 区域序列预测完整的 TCR 序列。
关键信息:
| 项目 | 版本/信息 |
|---|---|
| 操作系统 | Linux (aarch64) |
| NPU 型号 | Ascend910B x2 |
| NPU HBM | 65536 MB / 卡 |
| CANN 版本 | 8.5.1 |
| PyTorch 版本 | 2.9.0+cpu |
| torch_npu 版本 | 2.9.0.post1 |
| transformers 版本 | 4.40.2 |
| vLLM 版本 | 0.18.0 |
| vLLM-Ascend 版本 | 0.18.0 |
| Python 版本 | 3.11.14 |
注意: 由于 vLLM-Ascend 仅支持 decoder-only 架构模型,而 T5 是 encoder-decoder 架构,因此采用 transformers + torch_npu 方式直接在昇腾 NPU 上部署服务化推理。
cd /opt/atomgit/models/tcrt5_ft_tcrdb
python inference.py自定义输入推理:
python inference.py --input "CASSLGQAYEQYF"性能基准测试:
python inference.py --benchmark --benchmark-runs 10启动 OpenAI 兼容的 API 服务:
cd /opt/atomgit/models/tcrt5_ft_tcrdb
python server.py服务默认监听 0.0.0.0:8000,可通过环境变量配置:
PORT=8080 DEVICE=npu:0 python server.pyAPI 端点:
| 方法 | 路径 | 说明 |
|---|---|---|
| GET | /health | 健康检查 |
| GET | /v1/models | 列出可用模型 |
| POST | /v1/completions | 文本补全 |
| POST | /v1/chat/completions | 聊天补全 |
推理请求示例:
# 健康检查
curl -sf http://127.0.0.1:8000/health
# 文本补全
curl -s http://127.0.0.1:8000/v1/completions \
-H "Content-Type: application/json" \
-d '{"prompt": "CASSLGQAYEQYF", "max_tokens": 64}'
# 聊天补全
curl -s http://127.0.0.1:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model": "tcrt5_ft_tcrdb", "messages": [{"role": "user", "content": "CASSLGQAYEQYF"}], "max_tokens": 64}'# 1. 启动服务
cd /opt/atomgit/models/tcrt5_ft_tcrdb
python server.py &
# 2. 等待服务启动
sleep 30
# 3. 健康检查
curl -sf http://127.0.0.1:8000/health
# 预期输出: {"status": "ok"}
# 4. 列出模型
curl -sf http://127.0.0.1:8000/v1/models
# 预期输出: {"object": "list", "data": [{"id": "tcrt5_ft_tcrdb", ...}]}
# 5. 推理测试
curl -s http://127.0.0.1:8000/v1/completions \
-H "Content-Type: application/json" \
-d '{"prompt": "CASSLGQAYEQYF", "max_tokens": 64}'
# 预期输出: 包含 TCR 序列预测结果输入 TCR CDR3 序列,模型应输出预测的完整 TCR 序列:
| 输入序列 | 预测输出 |
|---|---|
| CASSLGQAYEQYF | [TCR]CASSLGGGGYEQYF |
| CASSDTEAFF | [TCR]CASSLGGGPYNEQFF |
| CASSYEQGYTF | [TCR]CASSLGGGYNEQFF |
| CSVEDLAYEQYF | [TCR]CASSLGGGRGETQYF |
| CASSQDPGLSYEQYF | [TCR]CASSLGGGNQPQHF |
在 Ascend910B NPU 上的推理性能(单卡):
| 指标 | 值 |
|---|---|
| 首次推理延迟 (cold start) | ~490ms |
| 后续推理延迟 | ~220-250ms |
| 模型加载时间 | ~2.3s |
| 模型参数量 | 41,990,144 |
| HBM 占用 | ~1052 MB |
| 输入 token 数 (典型) | 11-17 |
| 输出 token 数 (典型) | 17-18 |
说明:
使用标准 TCR CDR3 序列作为输入,对比模型预测结果与预期输出。
| 评测维度 | 结果 | 说明 |
|---|---|---|
| 推理正确性 | PASS | 模型能正确生成 TCR 序列 |
| 输出格式 | PASS | 输出以 [TCR] 前缀开头,符合预期 |
| Tokenizer 兼容性 | PASS | 使用 AutoTokenizer + trust_remote_code 加载成功 |
| 序列长度一致性 | PASS | 输出序列长度合理 (17-18 tokens) |
| 重复输入稳定性 | PASS | 相同输入产生一致输出 |
TCRT5Tokenizer,但该类不在标准 transformers 中。通过修改 tokenizer_config.json 中的 tokenizer_class 为 T5Tokenizer 解决。[TCR] 前缀,这是模型训练时的特殊 token,属于预期行为。tokenizer_config.json 中 tokenizer_class 设置为 T5Tokenizer (已修复)。