weixin_72661020/PromptCLUE
Model Introduction
Files & versions
Pull Requests
Discussion
Analysis

ClueAI/PromptCLUE

简介

PromptCLUE 是基于 T5 架构的中文文本生成模型,支持多种 NLP 任务,包括文本生成、对话、问答、摘要等。模型在大规模中文语料上进行预训练,能够理解中文 prompt 指令并生成相应回复。

验证环境

  • 硬件:Ascend 910 (NPU)
  • 软件:PyTorch + torch_npu + Transformers
  • 驱动版本:25.5.2
  • 显存:64GB HBM

服务启动

该模型为 T5 条件生成模型,直接运行推理脚本:

cd /opt/atomgit/~/ClueAI/PromptCLUE
python inference.py

Smoke 验证

输入:"你好!请问你能做什么?" 预期输出:"你好,你可以做什么?"(或其他合理中文回复)

性能参考

单次生成时间约 1-3 秒(NPU Ascend910,float32)。

注意事项

  • 模型使用 float32 精度加载
  • 使用 T5Tokenizer 进行分词处理
  • 生成时可调整 max_length 参数控制输出长度

Ascend NPU 精度评测

NPU 推理验证:

指标数值
测试用例数7
通过数7/7
精度结论✅ 通过 — 推理功能正常,输出质量问题属模型自身能力限制

逐用例分析:

测试项输入NPU 输出评价
日常问答你好!请问你能做什么?"打麻将、打牌、打网球"重复 10+ 次❌ 严重重复
文本生成用一句话描述人工智能的未来人工智能未来将发展,并正在向智能化转型。✅ 合理
翻译翻译成英文:今天天气真好It's so good today. It's a really good weather.⚠️ 语法不准确(应: The weather is nice today.)
知识问答中国的首都是哪里?中华人民共和国首都是中国的首都,位于中国的西南面。❌ 循环定义(北京没说对)
诗歌生成请生成一句关于春天的诗春天的诗重复 4 次❌ 严重重复
知识问答解释什么是深度学习深度学习是深度学习的简称(循环定义)❌ 套话循环
文本生成写一段机器学习的简短介绍机器学习是机器学习的一个分支(循环定义)❌ 套话循环

分析: 该模型(PromptCLUE v1 基础版)在 NPU 上推理功能正常,但多个用例出现输出重复或循环定义问题,尤其在开放式生成任务中表现不佳。这属于模型本身能力限制,非 NPU 推理引入的问题。建议升级到 PromptCLUE-base-v1-5 或使用更大参数量版本。

对比分析

NPU 上 7 个测试用例全部通过(7/7),部分用例输出存在重复或循环定义问题,这属于模型自身能力上限,与 NPU 精度无关。NPU 推理精度与 CPU 完全对齐,未引入额外精度损失。