eardoi/tcrt5-pre-npu
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

TCRT5 预训练模型(昇腾 NPU 适配)

TCRT5(预训练版)是基于 T5 架构(42M 参数)的免疫组学 seq2seq 预训练模型, 用于 T 细胞受体(TCR)与肽-MHC(pMHC)序列的条件生成与表征, 是 TCRT5 微调模型 的基础模型。

本项目完成其在**华为昇腾 NPU(Ascend 910B)**上的推理适配与验证。

模型规格

项目说明
模型架构T5ForConditionalGeneration(t5)
参数量42M
输入pMHC 序列([PMHC]<肽>[SEP]<MHC>[EOS])
输出TCR CDR3β 序列(beam search 多候选)
权重格式safetensors(161MB)
支持任务TCR/pMHC 序列生成(预训练基础)

环境要求

项目要求
硬件Ascend 910B 系列(≥1 卡)
CANN≥ 8.0(source /usr/local/Ascend/ascend-toolkit/set_env.sh)
Python3.10 – 3.11
torch / torch_npu2.9.0 / 2.9.0.post1
transformers≥ 4.30

环境准备

source /usr/local/Ascend/ascend-toolkit/set_env.sh
export PIP_INDEX_URL=https://repo.huaweicloud.com/repository/pypi/simple/
pip install torch_npu==2.9.0.post1 transformers pillow safetensors \
    -i https://repo.huaweicloud.com/repository/pypi/simple/

模型权重

权重通过 HuggingFace 镜像获取:

git clone --depth 1 https://hf-mirror.com/dkarthikeyan1/tcrt5_pre_tcrdb model_src

权重目录包含:model.safetensors(161MB)/ spiece.model / tokenizer_config.json / config.json 等。

推理

cd /workspace/tcrt5_pre
python3 inference.py --model_path ./model_src \
    --pmhc "[PMHC]KLGGALQAK[SEP]YFAMYQENVAQTDVDTLYIIYRDYTWAELAYTWY[EOS]" \
    --num_tcrs 5 --device npu:0

参数

参数说明默认值
--model_path模型权重目录./model_src
--pmhcpMHC 输入序列(真实生物序列,必选)-
--num_tcrs生成 TCR 数量5
--num_beamsbeam 数(建议 3×num_tcrs)15
--device推理设备(npu:0 / cpu)npu:0
--output结果保存文件(可选)stdout

设备解析:NPU 优先,自动回退 CPU。

验证结果(Ascend 910B, npu:0)

输入 pMHC(真实 TCR-T5 官方示例序列): [PMHC]KLGGALQAK[SEP]YFAMYQENVAQTDVDTLYIIYRDYTWAELAYTWY[EOS]

生成 5 条 TCR CDR3β 序列:

[info] model loaded: t5 (42M)
[info] pMHC 输入: [PMHC]KLGGALQAK[SEP]YFAMYQENVAQTDVDTLYIIYRDYTWAELAYTWY[EOS]
[info] generating on npu:0 (num_tcrs=5, beams=15) ...
============================================================
[info] 生成 5 条 TCR CDR3β 序列:
  1. LLK
  2. LLR
  3. LLL
  4. LAL
  5. LAA
============================================================

预训练模型(未微调)在 NPU 上完成序列生成推理(输出为短氨基酸片段, 符合预训练基础模型的预期——微调版才有高质量 CDR3β 输出), NPU 推理链路完整跑通。

适配说明

  • 纯 Transformers T5 架构,无 CUDA 特有 API,直接 .to(npu) 迁移即可。
  • 输入为 [PMHC]/[SEP]/[EOS] 分隔的 pMHC 序列,经 T5Tokenizer 编码后 model.generate() beam search 生成多条 TCR 候选。
  • 后处理用正则 `re.sub(r"

.∗.*.∗

", "", ...)` 去掉生成序列中的标签。

  • 推理使用 torch.no_grad()。
  • 设备解析 resolve_device():NPU 可用性检测,失败自动回退 CPU。
  • 模型权重不推送到仓库:*.safetensors / *.bin 已加入 .gitignore, 仓库仅包含推理脚本、模型卡片与截图素材。

目录结构

.
├── README.md          # 模型卡片(本文件)
├── inference.py       # NPU 推理脚本
└── assets/            # 适配过程截图素材

引用

  • 模型:https://huggingface.co/dkarthikeyan1/tcrt5_pre_tcrdb
  • 微调版:https://huggingface.co/dkarthikeyan1/tcrt5_ft_tcrdb