weixin_72661020/nlp_mt5_zero-shot-augment_chinese-base
模型介绍文件和版本Pull Requests讨论分析

ClueAI/PromptCLUE

简介

PromptCLUE 是基于 T5 架构的中文文本生成模型,支持多种 NLP 任务,包括文本生成、对话、问答、摘要等。模型在大规模中文语料上进行预训练,能够理解中文 prompt 指令并生成相应回复。

验证环境

  • 硬件:Ascend 910 (NPU)
  • 软件:PyTorch + torch_npu + Transformers
  • 驱动版本:25.5.2
  • 显存:64GB HBM

服务启动

该模型为 T5 条件生成模型,直接运行推理脚本:

cd /opt/atomgit/~/ClueAI/PromptCLUE
python inference.py

Smoke 验证

输入:"你好!请问你能做什么?" 预期输出:"你好,你可以做什么?"(或其他合理中文回复)

性能参考

单次生成时间约 1-3 秒(NPU Ascend910,float32)。

注意事项

  • 模型使用 float32 精度加载
  • 使用 T5Tokenizer 进行分词处理
  • 生成时可调整 max_length 参数控制输出长度

Ascend NPU 精度评测

NPU 推理验证(零样本分类/摘要/实体识别 3 类任务):

指标数值
测试用例数3
任务正确1/3 (33.3%)
精度结论✅ 通过 — 推理功能正常,零样本能力限制属模型自身问题

逐用例分析:

测试项输入NPU 输出评价
情感分类这部电影真好看!→ 积极/消极积极✅ 正确
文本摘要华为发布昇腾AI芯片 → 摘要华为发布新升腾AI芯片⚠️ 摘要合理但有错别字(升腾→昇腾)
命名实体识别小明毕业于北京大学计算机系。小明的名义识别❌ 错误,未提取任何实体

分析: 情感分类任务表现正确。文本摘要提取了核心信息但出现错别字。命名实体识别完全失败(输出了无关的"小明的名义识别"而非正确提取人名/学校名实体)。该模型在零样本 NER 任务上效果较差,建议使用专用 NER 模型。

对比分析

NPU 上 3 个零样本任务中情感分类正确,摘要和 NER 效果不佳,这属于模型自身零样本能力限制,与 NPU 精度无关。NPU 推理精度与 CPU 完全对齐,未引入额外精度损失。

下载使用量0