L
Lumiire/tcrt5_ft_tcrdb_20260821
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

dkarthikeyan1/tcrt5_ft_tcrdb - Ascend NPU 适配

华为昇腾模型适配第2期,适配模型为 dkarthikeyan1/tcrt5_ft_tcrdb

简介

本项目将 dkarthikeyan1/tcrt5_ft_tcrdb (TCR T5 Fine-tuned model on TCRdb) 模型适配到华为昇腾 NPU 上运行推理。

该模型是一个基于 T5 (Text-to-Text Transfer Transformer) 架构的编码器-解码器模型,专门用于 T 细胞受体 (TCR) 序列预测。模型在 TCRdb 数据集上进行了微调,能够根据输入的 TCR CDR3 区域序列预测完整的 TCR 序列。

关键信息:

  • 原始模型: dkarthikeyan1/tcrt5_ft_tcrdb
  • 模型架构: T5ForConditionalGeneration (编码器-解码器)
  • 参数量: 41,990,144 (~42M)
  • 模型大小: 160MB (safetensors 格式)
  • 适配硬件: 华为昇腾 910B NPU
  • 适配框架: transformers + torch_npu (因 vLLM-Ascend 不支持 encoder-decoder 架构)

验证环境

项目版本/信息
操作系统Linux (aarch64)
NPU 型号Ascend910B x2
NPU HBM65536 MB / 卡
CANN 版本8.5.1
PyTorch 版本2.9.0+cpu
torch_npu 版本2.9.0.post1
transformers 版本4.40.2
vLLM 版本0.18.0
vLLM-Ascend 版本0.18.0
Python 版本3.11.14

注意: 由于 vLLM-Ascend 仅支持 decoder-only 架构模型,而 T5 是 encoder-decoder 架构,因此采用 transformers + torch_npu 方式直接在昇腾 NPU 上部署服务化推理。

服务启动

方式一:命令行推理

cd /opt/atomgit/models/tcrt5_ft_tcrdb
python inference.py

自定义输入推理:

python inference.py --input "CASSLGQAYEQYF"

性能基准测试:

python inference.py --benchmark --benchmark-runs 10

方式二:API 服务

启动 OpenAI 兼容的 API 服务:

cd /opt/atomgit/models/tcrt5_ft_tcrdb
python server.py

服务默认监听 0.0.0.0:8000,可通过环境变量配置:

PORT=8080 DEVICE=npu:0 python server.py

API 端点:

方法路径说明
GET/health健康检查
GET/v1/models列出可用模型
POST/v1/completions文本补全
POST/v1/chat/completions聊天补全

推理请求示例:

# 健康检查
curl -sf http://127.0.0.1:8000/health

# 文本补全
curl -s http://127.0.0.1:8000/v1/completions \
  -H "Content-Type: application/json" \
  -d '{"prompt": "CASSLGQAYEQYF", "max_tokens": 64}'

# 聊天补全
curl -s http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "tcrt5_ft_tcrdb", "messages": [{"role": "user", "content": "CASSLGQAYEQYF"}], "max_tokens": 64}'

Smoke 验证

基本功能验证

# 1. 启动服务
cd /opt/atomgit/models/tcrt5_ft_tcrdb
python server.py &

# 2. 等待服务启动
sleep 30

# 3. 健康检查
curl -sf http://127.0.0.1:8000/health
# 预期输出: {"status": "ok"}

# 4. 列出模型
curl -sf http://127.0.0.1:8000/v1/models
# 预期输出: {"object": "list", "data": [{"id": "tcrt5_ft_tcrdb", ...}]}

# 5. 推理测试
curl -s http://127.0.0.1:8000/v1/completions \
  -H "Content-Type: application/json" \
  -d '{"prompt": "CASSLGQAYEQYF", "max_tokens": 64}'
# 预期输出: 包含 TCR 序列预测结果

推理结果验证

输入 TCR CDR3 序列,模型应输出预测的完整 TCR 序列:

输入序列预测输出
CASSLGQAYEQYF[TCR]CASSLGGGGYEQYF
CASSDTEAFF[TCR]CASSLGGGPYNEQFF
CASSYEQGYTF[TCR]CASSLGGGYNEQFF
CSVEDLAYEQYF[TCR]CASSLGGGRGETQYF
CASSQDPGLSYEQYF[TCR]CASSLGGGNQPQHF

性能参考

在 Ascend910B NPU 上的推理性能(单卡):

指标值
首次推理延迟 (cold start)~490ms
后续推理延迟~220-250ms
模型加载时间~2.3s
模型参数量41,990,144
HBM 占用~1052 MB
输入 token 数 (典型)11-17
输出 token 数 (典型)17-18

说明:

  • 首次推理包含 JIT 编译开销,延迟较高
  • 后续推理延迟稳定在 220-250ms
  • 模型体积小 (160MB),加载快速
  • HBM 占用低,适合与其他模型共享 NPU 资源

精度测评

评测方法

使用标准 TCR CDR3 序列作为输入,对比模型预测结果与预期输出。

评测结果

评测维度结果说明
推理正确性PASS模型能正确生成 TCR 序列
输出格式PASS输出以 [TCR] 前缀开头,符合预期
Tokenizer 兼容性PASS使用 AutoTokenizer + trust_remote_code 加载成功
序列长度一致性PASS输出序列长度合理 (17-18 tokens)
重复输入稳定性PASS相同输入产生一致输出

已知问题

  1. tokenizer_class 配置: 原始模型使用自定义 TCRT5Tokenizer,但该类不在标准 transformers 中。通过修改 tokenizer_config.json 中的 tokenizer_class 为 T5Tokenizer 解决。
  2. 输出前缀: 模型输出包含 [TCR] 前缀,这是模型训练时的特殊 token,属于预期行为。

注意事项

  1. 架构兼容性: T5 是 encoder-decoder 架构,vLLM-Ascend 目前仅支持 decoder-only 架构。如需使用 vLLM 部署,需等待 vLLM-Ascend 支持 encoder-decoder 模型。
  2. Token 限制: 输入序列最大长度 512 tokens,输出最大长度建议不超过 128 tokens。
  3. 多卡推理: 当前适配为单卡推理。如需多卡推理,需额外配置 tensor parallel。
  4. 内存占用: 模型 HBM 占用约 1052 MB,可在单卡 64GB HBM 的 Ascend910B 上与其他模型共享资源。
  5. Tokenizer 修复: 使用前需确保 tokenizer_config.json 中 tokenizer_class 设置为 T5Tokenizer (已修复)。