g
gcw_StsIRaj1/TCRT5-Pre-TCRdb-NPU
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

dkarthikeyan1/tcrt5_pre_tcrdb 昇腾 NPU 适配

  • 官方模型池:Phase 4 / Row 84
  • 参赛微信名称:风云游子
  • 参赛 AtomGit ID:@gcw_StsIRaj1
  • 模型来源:https://huggingface.co/dkarthikeyan1/tcrt5_pre_tcrdb
  • 官方可达镜像:https://ai.gitcode.com/hf_mirrors/dkarthikeyan1/tcrt5_pre_tcrdb
  • 上游许可证:CC-BY-NC-SA-4.0
  • 推理引擎:Transformers T5ForConditionalGeneration strict state-dict load + torch_npu
  • 验证硬件:Ascend910 / CANN / torch_npu / npu:0

作品结论

本作品在大赛官方远端 Ascend Model Agent 的 Ascend910 上加载真实 checkpoint,并完成 TCRT5 序列到序列 NPU 推理。CPU fallback 被禁止;模型、输入与输出设备信息、权重加载审计、输出统计、软件版本和耗时均固化在 evidence/result.json。

严格校验官方 167,985,976 字节 safetensors SHA-256;无缺键、无额外键地加载完整 T5 编码器—解码器,并保证模型、输入、输出全程位于 npu:0。

适配边界

  1. 保留上游模型结构、参数与任务语义,只增加 NPU 设备迁移、必要的版本兼容和证据采集。
  2. 使用确定性合成输入执行最小可复现实验,避免外部数据集和网络波动影响复核。
  3. 加载失败、张量落回 CPU、输出非有限或形状不符时立即失败,不以随机初始化或 CPU 结果替代。
  4. 本作品验证官方权重的昇腾 NPU 前向推理链路可执行,不声称完成训练,也不把烟测统计解释为业务精度。

应用价值与决策边界

  • 目标场景:TCR 序列建模的编码器—解码器 NPU 前向验证
  • 输入语义:1 条长度 5 的词表内序列 token
  • 输出语义:1×3×128 decoder logits
  • 决策支持:验证官方 TCRT5 在 Ascend NPU 的完整序列到序列前向链路
  • 证据边界:仅验证官方权重严格加载及合成词表 token 前向;不声明生物学预测准确率、训练结果、生成质量或临床用途。

运行步骤

远端环境应预先安装版本匹配的 CANN、PyTorch 与 torch_npu,不要用普通 pip install 覆盖官方运行时。

python3 -m pip install -r requirements.txt

python3 inference.py --model-dir /tmp/atomgit/phase4-row84-tcrt5-pre-tcrdb --output-dir outputs --device npu:0
npu-smi info
cat outputs/result.json

实测证据

  • 模型状态设备:npu:0
  • 输入语义:[1,5]
  • 输出形状:[1,3,128]
  • 推理耗时:198.52 ms
  • 权重加载:官方 from_pretrained 权重加载
  • 设备闭环:模型、输入、输出张量均为 npu:0

evidence/result.json 是机器可读事实源;三张证据图分别呈现 Agent 适配流程、NPU 设备闭环和模型输出结果。

复核清单

  • 真实 checkpoint,非随机初始化
  • 禁止 CPU fallback
  • 模型状态位于 npu:0
  • 输入与输出设备逐字段记录
  • 输出形状和有限性门禁
  • 运行时版本与耗时固化
  • 模型许可证和适配边界明确

Agent适配截图

Agent适配全过程截图

Agent 适配流程

NPU设备调用截图

NPU 设备调用

模型适配结果截图

模型适配结果