文章主题：关键词：ChatGLM-6B, 优化模型架构, 低部署门槛
清华团队推出对话机器人ChatGLM，支持在个人电脑上部署和调优3 月 22 日清华大学顶尖的 NLP 团队，公开了自研的类 ChatGPT 的大模型 —— 中英双语对话模型 ChatGLM-6B，初具问答和对话功能。
这是一个初具问答和对话功能的千亿中英语言模型，并针对中文进行了优化。该模型基于 General Language Model（GLM）架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 ChatGLM 相同的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 虽然规模不及千亿模型，但大大降低了推理成本，提升了效率，并且已经能生成相当符合人类偏好的回答。
ChatGLM-6B特点：
充分的中英双语预训练：ChatGLM-6B 在 1:1 比例的中英语料上训练了 1T 的 token 量，兼具双语能力。
在优化模型架构和规模方面，本文借鉴了GLM-130B的训练经验，对二维RoPE位置编码进行了修正，并采用了传统的FFN结构。经过调整，ChatGLM-6B的参数规模达到了6B（即62亿），这为研究人员和开发人员自主微调和部署提供了便利。
部署门槛的降低是 ChatGLM-6B 的一大特点，特别是在 FP16 半精度模式下。据相关资料，ChatGLM-6B 在运行时至少需要 13 GB 的显存，但是通过模型量化技术，这个数字可以被进一步缩减。具体来说，我们可以将显存需求降低至 10GB（INT8）和 6GB（INT4）。这样的优化使得 ChatGLM-6B 得以在消费级显卡上进行部署，无疑极大地提高了其应用的便捷性和广泛性。
在序列长度方面，相较于 GLM-10B（ sequences 长度为 1024），ChatGLM-6B 的 sequence 长度达到了惊人的 2048，这使得它能够支持更加深入和复杂的对话以及更多的应用场景。
在对齐训练过程中，我们采用了多种方法来提高模型的理解能力。首先，我们运用了监督微调技术，通过在大量标注数据上进行训练，使得模型能够更好地理解和执行人类的意图。其次，我们引入了反馈自助机制，让模型在每次迭代中都能接收到来自人类的反馈，并根据这些反馈不断优化自身性能。最后，为了更直接地让模型学习人类的意图，我们还采用了人类反馈强化学习方法，通过人类的实时互动，使模型在实际应用中不断提高对人类意图的理解和执行能力。
因此，ChatGLM-6B 具备了一定条件下较好的对话与问答能力。 当然，ChatGLM-6B 也有相当多已知的局限和不足：模型容量较小：6B 的小容量，决定了其相对较弱的模型记忆和语言能力。在面对许多事实性知识任务时，ChatGLM-6B 可能会生成不正确的信息；她也不擅长逻辑类问题（如数学、编程）的解答。
ChatGLM-6B 是一个初期的语言模型，其目的是与人类的意图保持一致，但这并不意味着它不会产生任何有害或带有偏见的信息。
在多轮对话场景下，ChatGLM-6B 的上下文理解能力尚待提高。当处理长篇回答或复杂情境的对话时，其可能会出现上下文连接中断或理解偏差的问题。
英文能力局限性：在训练过程中，所采用的主导指示多为中文，仅少数指示为英文。这可能导致在使用英文指令时，回复的质量无法达到中文指示对应的水平，甚至出现与中文指示相悖的情况。
ChatGLM-6B 的“自我认知”功能可能存在一定的风险，容易受到误导导致错误言论的产生。举例来说，当当前版本的模型受到误导时，其在自我认知方面可能会出现偏差。尽管这款模型经过了大约1万亿个标识符（token）的双语预训练，并采用了指令微调和人类反馈强化学习（RLHF）等方法进行了优化，但由于模型容量有限，因此在某些情况下可能会生成具有误导性的内容。
6B的交互能力：
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
