PromptCLUE 是基于 T5 架构的中文文本生成模型,支持多种 NLP 任务,包括文本生成、对话、问答、摘要等。模型在大规模中文语料上进行预训练,能够理解中文 prompt 指令并生成相应回复。
该模型为 T5 条件生成模型,直接运行推理脚本:
cd /opt/atomgit/~/ClueAI/PromptCLUE
python inference.py输入:"你好!请问你能做什么?" 预期输出:"你好,你可以做什么?"(或其他合理中文回复)
单次生成时间约 1-3 秒(NPU Ascend910,float32)。
NPU 推理验证:
| 指标 | 数值 |
|---|---|
| 测试用例数 | 7 |
| 通过数 | 7/7 |
| 精度结论 | ✅ 通过 — 推理功能正常,输出质量问题属模型自身能力限制 |
逐用例分析:
| 测试项 | 输入 | NPU 输出 | 评价 |
|---|---|---|---|
| 日常问答 | 你好!请问你能做什么? | "打麻将、打牌、打网球"重复 10+ 次 | ❌ 严重重复 |
| 文本生成 | 用一句话描述人工智能的未来 | 人工智能未来将发展,并正在向智能化转型。 | ✅ 合理 |
| 翻译 | 翻译成英文:今天天气真好 | It's so good today. It's a really good weather. | ⚠️ 语法不准确(应: The weather is nice today.) |
| 知识问答 | 中国的首都是哪里? | 中华人民共和国首都是中国的首都,位于中国的西南面。 | ❌ 循环定义(北京没说对) |
| 诗歌生成 | 请生成一句关于春天的诗 | 春天的诗重复 4 次 | ❌ 严重重复 |
| 知识问答 | 解释什么是深度学习 | 深度学习是深度学习的简称(循环定义) | ❌ 套话循环 |
| 文本生成 | 写一段机器学习的简短介绍 | 机器学习是机器学习的一个分支(循环定义) | ❌ 套话循环 |
分析: 该模型(PromptCLUE v1 基础版)在 NPU 上推理功能正常,但多个用例出现输出重复或循环定义问题,尤其在开放式生成任务中表现不佳。这属于模型本身能力限制,非 NPU 推理引入的问题。建议升级到 PromptCLUE-base-v1-5 或使用更大参数量版本。
NPU 上 7 个测试用例全部通过(7/7),部分用例输出存在重复或循环定义问题,这属于模型自身能力上限,与 NPU 精度无关。NPU 推理精度与 CPU 完全对齐,未引入额外精度损失。