《ChatGLM-6B：中英双语预训练，序列长度达到2048，对话与问答能力崭露头角》

IT之家 3 月 22 日消息，在 ChatGPT 的核心团队中，不乏清华大学毕业进入 OpenAI 的开发者，就在 GPT-4 发布的同一天，清华大学顶尖的 NLP 团队，也公开了自研的类 ChatGPT 的大模型 —— 中英双语对话模型 ChatGLM-6B，初具问答和对话功能，现已开启邀请制内测（内测申请网址 http://chatglm.cn），后续还会逐步扩大内测范围。

官方博客中提到，这是一个初具问答和对话功能的千亿中英语言模型，并针对中文进行了优化。该模型基于 General Language Model（GLM）架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 ChatGLM 相同的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 虽然规模不及千亿模型，但大大降低了推理成本，提升了效率，并且已经能生成相当符合人类偏好的回答。

具体来说，ChatGLM-6B 具备以下特点：

为了全面提高其双语处理能力，ChatGLM-6B在中英文语料库的1:1配比下进行了1T个token的训练，从而实现了出色的中英文互译效果。

在优化模型架构和规模方面，本文借鉴了GLM-130B的训练经验，对二维RoPE位置编码进行了修正，并采用了传统的FFN结构。经过调整，ChatGLM-6B的参数规模达到了6B（62亿），这为研究人员和开发人员自主微调和部署提供了便利。

部署门槛的降低是 ChatGLM-6B 的一大特点。在 FP16 半精度模式下，该模型需要至少 13 GB 的显存来进行推理。然而，通过运用模型量化技术，这个需求得以进一步减少，具体来说，可以降低到 10GB（INT8）和 6GB（INT4）。这样的优化使得 ChatGLM-6B 能够更好地适应消费级显卡的部署环境，从而降低了使用的难度和成本。

相对于 GLM-10B（序列长度为1024）而言，ChatGLM-6B 的序列长度达到了惊人的2048，这一数据远超前者，从而能够支持更加深入和持久的对话以及更为丰富的应用场景。

在对齐训练过程中，我们采用了多种方法来提高模型的理解能力。首先，我们运用了监督微调技术，通过在大量标注数据上进行训练，使得模型能够更好地理解和执行人类的意图。其次，我们引入了反馈自助机制，让模型在每次迭代中都能接收到人类的反馈，从而不断优化自身性能。最后，为了更直接地让模型学习人类的意图，我们还采用了人类反馈强化学习方法，通过人类的实时反馈来强化模型的学习过程。这些方法的结合使用，使得模型在理解并执行人类意图方面取得了显著的进步。

ChatGLM-6B 在一定条件下展现出了优秀的对话和问答能力，这得益于其强大的语言理解和生成能力。然而，ChatGLM-6B 仍然存在着许多已知 limitations 和缺陷。

由于模型的容量限制在6B，这使得其在记忆和语言方面的表现相对较弱。当面临涉及大量事实性知识的任务时，ChatGLM-6B可能会提供不准确的信息。同时，它在处理逻辑类问题（例如数学、编程等）方面也表现出一定的不足。

ChatGLM-6B 是一个初期的语言模型，其目标是与人类意图保持一致，但这并不意味着它不会产生任何有害或具有偏见的信息。

较弱的多轮对话能力： ChatGLM-6B 的上下文理解能力还不够充分，在面对长答案生成，以及多轮对话的场景时，可能会出现上下文丢失和理解错误的情况。

英文能力不足： 训练时使用的指示大部分都是中文的，只有一小部分指示是英文的。因此在使用英文指示时，回复的质量可能不如中文指示的回复，甚至与中文指示下的回复矛盾。

易被误导： ChatGLM-6B 的“自我认知”可能存在问题，很容易被误导并产生错误的言论。例如当前版本模型在被误导的情况下，会在自我认知上发生偏差。即使该模型经过了 1 万亿标识符（token）左右的双语预训练，并且进行了指令微调和人类反馈强化学习（RLHF），但是因为模型容量较小，所以在某些指示下可能会产生有误导性的内容。

该团队称，一直在探索、尝试和努力，GLM 系列模型取得了一丝进展，但离国际顶尖大模型研究和产品（比如 OpenAI 的 ChatGPT 及下一代 GPT 模型）都还有明显差距。中国大模型研究在原创算法、AI 芯片和产业上的追赶与突破需要大家的一起努力，更需要我们对下一代 AI 人才的培养与锻炼。

IT之家附 ChatGLM-6B 的对话效果展示：