HuggingFace镜像/glm3-6b-32k
模型介绍文件和版本分析
下载使用量0

ChatGLM3-6B-32K

💻 Github 仓库 • 🐦 Twitter • 📃 [GLM@ACL 22] [GitHub] • 📃 [GLM-130B@ICLR 23] [GitHub]

👋 加入我们的 Slack 和 微信

📍在 chatglm.cn 体验更大规模的 ChatGLM 模型

修改说明

修改了代码调用为openmind调用

介绍 (Introduction)

ChatGLM3-6B-32K在ChatGLM3-6B的基础上进一步强化了对于长文本的理解能力，能够更好的处理最多32K长度的上下文。具体地，我们对位置编码进行了更新，并设计了更有针对性的长文本训练方法，在对话阶段使用 32K 的上下文长度训练。在实际的使用中，如果您面临的上下文长度基本在 8K 以内，我们推荐使用ChatGLM3-6B；如果您需要处理超过 8K 的上下文长度，我们推荐使用ChatGLM3-6B-32K。

ChatGLM3-6B 是 ChatGLM 系列最新一代的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性：

  1. 更强大的基础模型： ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base 具有在 10B 以下的预训练模型中最强的性能。
  2. 更完整的功能支持： ChatGLM3-6B 采用了全新设计的 Prompt 格式，除正常的多轮对话外。同时原生支持工具调用（Function Call）、代码执行（Code Interpreter）和 Agent 任务等复杂场景。
  3. 更全面的开源序列： 除了对话模型 ChatGLM3-6B 外，还开源了基础模型 ChatGLM-6B-Base、长文本对话模型 ChatGLM3-6B-32K。以上所有权重对学术研究完全开放，在填写问卷进行登记后亦允许免费商业使用。

ChatGLM3-6B-32K基于ChatGLM3-6B进一步增强了长文本理解能力，能够更好地处理最长32K长度的上下文。具体而言，我们更新了位置编码，并设计了更具针对性的长文本训练方法，在对话阶段采用32K的上下文长度进行训练。在实际使用中，如果您的上下文长度基本在8K以内，我们推荐使用ChatGLM3-6B；如果您需要处理超过8K的上下文长度，建议使用ChatGLM3-6B-32K。

ChatGLM3-6B是ChatGLM系列的最新开源模型，在保留前两代模型对话流畅、部署门槛低等诸多优秀特性的基础上，引入了以下新特性：

  1. 更强的基础模型：ChatGLM3-6B的基础模型ChatGLM3-6B-Base采用了更多样化的训练数据、更充分的训练步数以及更合理的训练策略。在语义、数学、推理、代码、知识等不同维度的数据集测评中，ChatGLM3-6B-Base在10B以下的预训练模型中展现出最强性能。
  2. 更全面的功能支持：ChatGLM3-6B采用了全新设计的Prompt格式，除了常规的多轮对话外，还原生支持工具调用（Function Call）、代码执行（Code Interpreter）以及Agent任务等复杂场景。
  3. 更完整的开源序列：除对话模型ChatGLM3-6B外，还开源了基础模型ChatGLM-6B-Base和长文本对话模型ChatGLM3-6B-32K。所有权重完全开放用于学术研究，填写问卷登记后亦允许免费商业使用。

通过openMind使用

环境变量

export PYTHONPATH={path}/mindformers:$PYTHONPATH
export OPENMIND_FRAMEWORK=ms

推理

cd examples
python inference.py

关于更多的使用说明，包括如何运行命令行和网页版本的 DEMO，以及使用模型量化以节省显存，请参考我们的 Github Repo。

For more instructions, including how to run CLI and web demos, and model quantization, please refer to our Github Repo.

协议 (License)

本仓库的代码依照 Apache-2.0 协议开源，ChatGLM3-6B 模型的权重的使用则需要遵循 Model License。

The code in this repository is open-sourced under the Apache-2.0 license, while the use of the ChatGLM3-6B model weights needs to comply with the Model License.