weixin_72661020/iic_nlp_deberta_rex-uninlu_chinese-base
模型介绍文件和版本Pull Requests讨论分析

ClueAI/PromptCLUE

简介

PromptCLUE 是基于 T5 架构的中文文本生成模型,支持多种 NLP 任务,包括文本生成、对话、问答、摘要等。模型在大规模中文语料上进行预训练,能够理解中文 prompt 指令并生成相应回复。

验证环境

  • 硬件:Ascend 910 (NPU)
  • 软件:PyTorch + torch_npu + Transformers
  • 驱动版本:25.5.2
  • 显存:64GB HBM

服务启动

该模型为 T5 条件生成模型,直接运行推理脚本:

cd /opt/atomgit/~/ClueAI/PromptCLUE
python inference.py

Smoke 验证

输入:"你好!请问你能做什么?" 预期输出:"你好,你可以做什么?"(或其他合理中文回复)

性能参考

单次生成时间约 1-3 秒(NPU Ascend910,float32)。

注意事项

  • 模型使用 float32 精度加载
  • 使用 T5Tokenizer 进行分词处理
  • 生成时可调整 max_length 参数控制输出长度

Ascend NPU 精度评测

NPU 推理验证:

指标数值
测试用例数1
精度结论---

精度评测源代码和日志详见 eval/ 目录。

推理输出示例

#输入NPU 输出
1北大西洋议会春季会议26日在西班牙巴塞罗那闭幕。[{'type': '组织机构', 'span': '北大西洋议会', 'off
下载使用量0