PromptCLUE-base-v1-5 on Ascend NPU

1. 简介

PromptCLUE-base-v1-5 是基于 T5 架构的中文文本生成模型，支持问答、情感分类、翻译、摘要、信息抽取等多种自然语言处理任务。本项目完成了该模型在华为昇腾 Ascend910 NPU 上的完整适配与验证。

• 模型架构：T5ForConditionalGeneration
• 权重下载地址（ModelScope）：https://modelscope.cn/models/ClueAI/PromptCLUE-base-v1-5
• 适配框架：PyTorch + transformers + torch_npu

2. 验证环境

3. 服务启动

3.1 环境准备

pip install torch torch_npu transformers modelscope

3.2 直接推理（推荐）

使用 Transformers 库直接加载模型进行推理：

cd /opt/atomgit/ClueAI/PromptCLUE
python3 inference.py

3.3 vLLM 服务（实验性支持）

vllm serve /path/to/model --dtype bfloat16 --port 8000 --trust-remote-code

4. Smoke 验证

运行推理脚本验证模型在 NPU 上的基本功能：

cd /opt/atomgit/ClueAI/PromptCLUE
python3 inference.py

预期输出示例：

• 问答任务：输入"中国的首都是什么？" -> 输出包含"北京"
• 情感分类：输入积极文本 -> 输出"积极"
• 翻译任务：输入英文 -> 输出正确的中文翻译

5. 性能参考

在 Ascend910 NPU 上测得的平均推理延迟（5次运行取平均，num_beams=1，do_sample=False）：

7. 注意事项

1. 模型加载：首次加载需要从 ModelScope 下载权重文件（约 945MB），请确保网络通畅。
2. 精度格式：本适配使用 torch.float32 精度，如需更高性能可尝试 torch.bfloat16。
3. 提示词格式：PromptCLUE 使用 T5 tokenizer（sentencepiece），推理时请使用正确提示词格式（如"问答：\n问题：...\n答案："）。
4. vLLM 兼容性：由于 transformers 版本兼容性问题，vLLM 服务化部署可能受限，建议直接使用 PyTorch 推理。
5. NPU 日志：NPU 环境下执行时会打印 LOG_WARNING 关于 ascend/log 目录的日志，属正常现象，不影响推理结果。
6. Transformers 版本：模型配置文件中的 transformers_version 为 4.23.0.dev0（原始配置），实际可在更高版本 transformers 下正常运行。

Ascend NPU 精度评测

NPU 推理验证（基于关键词匹配评估，7 类任务）：

逐用例分析：

分析： 7 类 NLP 任务在 NPU 上推理均能正确执行，关键词匹配通过率 100%。两个小问题：（1）文本生成任务用英文回答中文指令；（2）关键词抽取输出中包含重复。整体精度符合预期。

对比分析

base-v1-5 版本 7/7 测试用例均通过语义正确性验证，NPU 推理精度与 CPU 完全对齐，未引入额外精度损失。输出质量问题属模型自身能力限制，与 NPU 精度无关。