文章主题:智能开源, 清华NLP团队, ChatGLM-6B, ChatGLM2-6B
智能开源!清华NLP团队开放ChatGLM-6B和ChatGLM2-6B权重
【AI领域动态】近日,我国知名的人工智能公司智谱AI与清华大学 KEG 实验室共同发布了一则重要声明,旨在推动学术研究的进步。他们宣布开放部分技术权重,使得学术研究能够全面受益。在成功完成企业注册并获取相关授权后,智谱AI允许用户免费商业使用这些技术。此舉预计将对我国人工智能领域产生重大影响。值得一提的是,ChatGLM-6B 和 ChatGLM2-6B 是由清华大学NLP团队近期推出的一款中英双语对话模型,这两款模型在问答和对话方面表现出了强大的能力。
ChatGLM-6B采用了General Language Model(GLM)架构,其庞大的参数数量达到了惊人的62亿。借助于模型量化技术,用户可以轻松地在普通消费级显卡上对模型进行本地部署,而且只需要6GB的显存(在INT4量化级别下)。这一特性让模型具有了广泛的应用潜力和实用性。
紧接着推出的ChatGLM2-6B模型,既保留了第一代模型的对话流畅性和低部署门槛的优势,同时又融入了许多创新功能和性能优化。这个模型运用了GLM的综合目标函数,并通过1.4T的中英标识符预训练以及与人类偏好的对齐训练,进一步提升了其表现。经过对比测试,ChatGLM2-6B在多个数据集上的性能都显著超过了第一代模型,例如在MMLU上提升了23%,在Ceval上提升了33%,在GSM8K上提升了571%,在BBH上提升了60%。
ChatGLM2-6B 在性能和推理速度上都有显著提升,这是通过增加上下文长度实现的。从 ChatGLM-6B 的 2K 扩展到 32K,意味着模型可以更好地理解上下文信息,提供更加准确和连贯的回答。此外,ChatGLM2-6B 的推理速度也提升了 42%。在 INT4 量化级别下,6GB 显存支持的对话长度也从 1K 升级到 8K,这将进一步提高模型的效率和响应速度。因此,ChatGLM2-6B 的这些改进将为用户带来更好的体验,并提高其在实际应用中的可用性。
两款模型的显著价值再次得到强化,这源于智谱AI与清华大学 KEG 实验室的决策——将ChatGLM-6B和ChatGLM2-6B的权重全面向学术研究领域开放。此举动将极大地推进人工智能领域的科研与应用进程,同时,为开发者和研究人员提供了强有力的工具与丰富资源。
综合来看,ChatGLM-6B 和 ChatGLM2-6B 的发布以及权重的开放对人工智能领域具有重要意义。这些模型的强大功能和性能提升将推动对话系统和自然语言处理的发展,为我们的数字世界带来更智能、更便捷的人机交互体验。智谱 AI 及清华 KEG 实验室的这一举措也表明了学术界和商业界在推动人工智能创新方面的积极合作态度,为行业发展带来了新的机遇与可能性。返回搜狐,查看更多
责任编辑:
AI时代,拥有个人微信机器人AI助手!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!