2301_76761127/tcrt5_ft_tcrdb-npu
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

tcrt5_ft_tcrdb 昇腾 NPU 适配

模型与范围

  • 官方模型地址:https://ai.gitcode.com/hf_mirrors/dkarthikeyan1/tcrt5_ft_tcrdb
  • 本次部署 revision:f559f8f7f1862d23f863b0d0d3b2f858cdab9705
  • 架构:T5 seq2seq;许可:CC BY-NC-SA 4.0
  • 设备:Ascend910_9362,逻辑设备 npu:0
  • 只验收真实 NPU forward,不运行 CPU Golden,也不做 CPU/NPU 精度比较。

revision 和物料完整性由部署前置流程负责。inference.py 不在运行时限制模型仓身份、revision、SHA、manifest 或参数量;它保留 NPU-only、禁止 CPU 回退、输入/参数/输出设备、输出形状、数量、有限性和退出码门禁。

全新容器准备

官方容器实测为 Python 3.11、PyTorch 2.9.0+cpu、torch_npu 2.9.0、CANN 8.5.1。requirements.txt 只声明完整模型层依赖,不替换平台的 PyTorch、torch_npu 或 CANN。

git clone https://ai.gitcode.com/hf_mirrors/dkarthikeyan1/tcrt5_ft_tcrdb ./model
git -C ./model checkout f559f8f7f1862d23f863b0d0d3b2f858cdab9705
git -C ./model lfs pull

python -m venv .venv --system-site-packages
. .venv/bin/activate
python -m pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt

上述命令仅在仓库相对路径 ./model 和 .venv 内准备物料,保留官方容器预装的 PyTorch、torch_npu 和 CANN。

唯一运行入口

. .venv/bin/activate
python inference.py --model_path ./model --device npu:0 \
  --seed 20260816 --output_json audit/hosted-npu/npu_result.json

测试用例为 8 个固定输入,执行 teacher-forced decoder forward;完整输出共 17,280 个 float32 logits。任一输入、模型参数或输出不在目标 NPU,输出形状/数量不完整,出现非有限值或运行异常,都会非零退出。

官方容器真实结果

  • exit_status=0
  • requested/model/tensor/output = npu:0 / npu:0 / npu:0 / npu:0
  • 8 个样本、17,280 个完整 logits,全部有限
  • 两个设备截图时点来自同一真实推理进程 PID 114302
  • 原始结果:assets/npu_result.json

真实截图

  • AtomCode 工作流规划
  • 真实 NPU 调用
  • 真实 NPU 输出

npu_device_call.png 在真实进程存活时同时显示 PID、完整命令和 npu-smi info;model_result.png 来自本轮真实 JSON;AgentFlow 图是官方容器内 AtomCode 的真实回复。稍晚时点的第二组真实截图已单独归档。

复现与限制

模型权重不随仓库重新分发。按上述公开 URL 和固定 revision 准备 ./model、安装单份 requirements.txt 并执行完整 NPU 命令即可。只有最终 JSON 序列化发生在主机侧,模型数值路径全程位于 NPU。本模型仅用于研究,不得用于临床或商业用途。

本仓为 2301_76761127 队伍交付件(与备份账号合并提交)。