腾讯混元
机器之心报道 作者:泽南 腾讯这个重量级玩家终于出手了。 上个星期,国内首批大模型备案获批,开始面向全社会开放服务,大模型正式进入了规模应用的新阶段。在前期发布应用的行列中,有些科技巨头似乎还没有出手。 很快到了 9 月 7 日,在 2023 腾讯全球数字生态大会上,腾讯正式揭开了混元大模型的面纱,并通过腾讯云对外开放。 作为一个超千亿参数的大模型,混元使用的预训练语料超过两万亿 token,凭借多项独有的技术能力获得了强大的中文创作能力、复杂语境下的逻辑推理能力,以及可靠的任务执行能力。 腾讯集团副总裁蒋杰表示:「腾讯混元大模型是从第一个 token 开始从零训练的,我们掌握了从模型算法到机器学习框架,再到 AI 基础设施的全链路自研技术。」 打开大模型,全部都是生产力 腾讯一直表示在大模型的相关方向上早已有所布局,专项研究一直有序推进。 这个不是「新技术」的大模型是什么级别?在大会上蒋杰通过直接询问混元大模型的方式透露了一些基本信息,它的参数量是千亿级,训练用的数据截止到今年 7 月份,此外腾讯也表示大模型的知识将会每月更新。 腾讯在现场展示了「腾讯混元大模型小程序」、腾讯文档中的 AI 助手以及腾讯会议 AI 助手的能力。 机器之心第一时间获得测试资格尝试了一番,首先是微信小程序。 一进小程序,我们发现其中的内容不亚于其他家大模型产品的独立 APP。这里有一个「灵感发现」,看看混元都能做些什么: 从生产力、生活、娱乐到编程开发,它开放的能力可谓非常全面了,符合一个千亿级大模型的身份。那么混元真的能有效地完成这些任务吗? 我要写一份 PPT,只想好了主题却不知从何写起,问一下混元大模型。只需几秒,AI 就给了一份分出七个部分的大纲,每一部分里也包含细分的点: 输入一篇 arXiv 上 9 月份谷歌提交的论文《RLAIF: Scaling Reinforcement Learning from Human Feedback...