文章主题：集团董事长, 寄语, 最美好的事, 和一群志同道合的人
中英双语对话模型（ChatGLM-6B）是清华大学知识工程和数据挖掘小组发布的一个开源的对话机器人。根据官方介绍，这是一个千亿参数规模的中英文语言模型，并且对中文做了优化。该模型基于General Language Model(GLM)架构，具有62亿参数，大大降低了推理成本，提升了效率，并且已经能生成相当符合人类偏好的回答。
一、
功能
ChatGLM-6B是一个对话机器人，可以实现多种能力，基本的问答系统都是支持的。官方提供了几个使用实例：自我认知、提纲写作、文案写作、邮件助手、信息抽取、角色扮演、评论比较、旅游向导。二、
优点
（1）充分的中英双语预训练ChatGLM-6B 在 1:1 比例的中英语料上训练了 1T 的 token 量，兼具双语能力。
（2）优化的模型架构和大小吸取 GLM-130B 训练经验，修正了二维 RoPE 位置编码实现，使用传统 FFN 结构。6B（62亿）的参数大小，也使得研究者和个人开发者自己微调和部署 ChatGLM-6B 成为可能。
（3）较低的部署门槛FP16 半精度下，ChatGLM-6B 需要至少 13 GB 的显存进行推理，结合模型量化技术，这一需求可以进一步降低到 10GB（INT8）和 6GB（INT4），使得 ChatGLM-6B 可以部署在消费级显卡上。
（4）更长的序列长度相比 GLM-10B（序列长度 1024），ChatGLM-6B 序列长度达 2048，支持更长对话和应用。
（5）人类意图对齐训练使用了监督微调（Supervised Fine-Tuning）、反馈自助（Feedback Bootstrap）、人类反馈强化学习（RLHF）等方式，使模型初具理解人类指令意图的能力。输出格式为 markdown，方便展示。
三、
待优化之处
（1）相对较弱的模型记忆和语言能力在面对许多事实性知识任务时，ChatGLM-6B 可能会生成不正确的信息，也不太擅长逻辑类问题（如数学、编程）的解答。
（2）可能会产生有害说明或有偏见的内容ChatGLM-6B 只是一个初步与人类意图对齐的语言模型，可能会生成有害、有偏见的内容。
（3）较弱的多轮对话能力ChatGLM-6B 的上下文理解能力还不够充分，在面对长答案生成和多轮对话的场景时，可能会出现上下文丢失和理解错误的情况。
GLM团队也坦言，整体来说ChatGLM距离国际顶尖大模型研究和产品（比如OpenAI的 ChatGPT及下一代GPT模型）还存在一定的差距。该团队表示，将持续研发并开源更新版本的ChatGLM和相关模型。ChatGLM和“文心一言”的陆续发布，充分展现我国人工智能技术在不断增强，未来将会有更多人工智能产品与我们见面。
集团董事长寄语
最美好的事，
是和一群志同道合的人，
一起奔跑在理想的路上！
回头有一路的故事，
低头有坚定的脚步，
抬头有清晰的远方。
只有干出来的精彩，
没有等出来的辉煌。
集团董事长, 寄语, 最美好的事, 和一群志同道合的人
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
