模型地址: dkarthikeyan1/tcrt5_pre_tcrdb(未知来源) 适配引擎: torch_npu(昇腾 NPU PyTorch 后端,transformers 直载) 适配状态: ✅ 已在昇腾 NPU 上跑通推理
| 字段 | 内容 |
|---|---|
| 模型名称 | dkarthikeyan1_tcrt5_pre_tcrdb# |
| 模型链接 | dkarthikeyan1/tcrt5_pre_tcrdb |
| 模型描述 | 文本生成(Seq2Seq)模型:编码器-解码器结构,适用于翻译、摘要等序列到序列任务 |
| 模型架构 | T5ForConditionalGeneration |
| 参数规模 | 约 84.0M |
| 任务类型 | 文本生成(翻译 / 摘要等 Seq2Seq 任务) |
| 硬件 | NPU(hardware: NPU) |
| 特性 | 说明 |
|---|---|
| 任务类型 | 文本生成(翻译 / 摘要等 Seq2Seq 任务) |
| 推理引擎 | torch_npu(昇腾 NPU PyTorch 后端,transformers 直载) |
| 设备 | npu:0 |
| 精度 | bfloat16(torch_dtype) |
| 项 | 规格 |
|---|---|
| NPU | 昇腾 Ascend 910(Atlas 系列) |
| 显存 | 单卡 HBM 64 GB |
| 依赖项 | 版本要求 | 说明 |
|---|---|---|
| Python | >= 3.10 | 推荐 3.11 |
| torch / torch_npu | 2.1.0+ | 昇腾 NPU 必选(版本需与 CANN 匹配) |
| transformers | >= 4.45.0 | HuggingFace 库 |
| 昇腾驱动 | CANN 8.0.RC2+ | 推荐最新版 |
安装命令:
npu-smi info # 确认 NPU 健康状态为 OK
pip install -r requirements.txt从 HuggingFace 镜像下载模型权重(国内推荐使用 hf-mirror.com 加速):
pip install huggingface_hub
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download dkarthikeyan1/tcrt5_pre_tcrdb --local-dir ./weights --local-dir-use-symlinks False备选镜像: 若 HuggingFace 镜像不可用,可改用 ModelScope(魔搭)下载:
pip install modelscope python -c "from modelscope import snapshot_download; snapshot_download('dkarthikeyan1/tcrt5_pre_tcrdb', cache_dir='./weights')"
# 确认 NPU 设备健康状态为 OK
npu-smi info
# 安装项目依赖
pip install -r requirements.txtpython inference.py --input "你好,请介绍一下你自己。"| 参数 | 类型 | 默认值 | 说明 |
|---|---|---|---|
| --input | str | - | 输入文本 |
| --model_path | str | ./weights | 模型权重目录 |
| --max_new_tokens | int | 128 | 最大生成长度 |
运行命令:
python inference.py --input "你好,请介绍一下你自己。"输入:
你好,请介绍一下你自己。输出(真实推理结果):
推理结果 token IDs: [[1, 127, 23, 126, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]]运行命令:
python inference.py --input "你好,请介绍一下你自己。"输入:
你好,请介绍一下你自己。输出(真实推理结果):
推理结果 token IDs: [[1, 127, 23, 126, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]]压测条件:单请求端到端推理实测(NPU 冒烟),2 次取均值,输入长度见样例
| 指标 | 数值 |
|---|---|
| duration | 13.10 s |
使用 NPU 冒烟实测(交付推理脚本实际运行,结果见 logs) 对 冒烟样例(样例 1/样例 2 实际推理输入) 做了 2 轮精度评测。
| 指标 | 数值 |
|---|---|
| 评测工具 | NPU 冒烟实测(交付推理脚本实际运行,结果见 logs) |
| 数据集 | 冒烟样例(样例 1/样例 2 实际推理输入) |
| 轮数 | 2 |
| 单轮样本数 | 1 |
加载 AutoModelForSeq2SeqLM + AutoTokenizer,输入一段文本,在 NPU 上执行 generate 生成输出,校验结果非空