文章主题:未来, MOSS的优化将会围绕三方面展开:团队会准备更高质量的中文数据;会开放接口,让MOSS与人类进行对话,收集更多的对话数据;同时,团队还会进一步加大投入,扩大其参数规模。
未来,MOSS的优化将会围绕三方面展开。 复旦大学供图
“🔥🔥🔥 ChatGPT模型全球掀起AI热潮!复旦大学计算机科学技术学院邱锡鹏团队发布MOSS类ChatGPT模型,备受瞩目!🚀🚀🚀 #ChatGPT #MOSS #AI热潮 #复旦大学 #计算机科学技术学院 #邱锡鹏团队”
🎉 邱锡鹏和他的MOSS团队正在全力以赴地进行内测和迭代工作!他们是由8位年轻的复旦学生组成的团队,他们的目标是打造一个具有中国特色的中文大型语言模型。新模型预计将在3月底优化完成,之后将逐步对社会开放。让我们一起期待这个具有中国特色的中文大型语言模型的到来吧!🚀
邱锡鹏与他的MOSS团队合影。 复旦大学供图
MOSS优化三方面展开:高质量中文数据、接口对话收集、投入扩大参数规模。开源是邱锡鹏及复旦团队学术坚持,成果将开放公众社会。
🎉 随着技术的发展和进步,大型语言模型如MOSS已经逐渐成为人们生活中的重要组成部分。尽管它在参数规模上与ChatGPT相比小一个量级,但其基本功能已经得到了充分的实现。邱锡鹏表示,在不久的将来,MOSS这类大型语言模型将会像搜索引擎一样成为常规的存在,为我们的日常生活提供便利。在使用MOSS的过程中,我们可能会遇到一些问题,比如它有时会“一本正经地胡说八道”。但是,这并不意味着MOSS的功能不全。相反,它在很多方面都表现出了出色的能力。邱锡鹏希望在未来版本中能够更好地控制MOSS的下限,并介绍,目前MOSS服务器的最大容纳人数已经达到了数万人。总的来说,尽管MOSS还存在一些问题,但它的潜力和价值是无法忽视的。随着技术的发展,我们有理由相信,MOSS将会在未来的日子里发挥出更大的作用。
邱锡鹏与他的MOSS团队——8位年轻的复旦学生,正紧锣密鼓地开展内测和迭代工作。 复旦大学供图
“人类的伦理观、价值观多种多样,让我们共同携手,从技术到法律、伦理研究,构建大型语言模型。复旦大学拥有跨学科优势,让我们一起发挥其作用。#伦理# #价值# #复旦大学# #语言模型#”
在文章写作中,我们通常会使用专业词汇和表达方式来组织内容。对于您提供的原内容,我将对其进行改写,以提高其可读性和SEO优化性。大型对话式语言模型(如MOSS)与日常使用的聊天机器人有何不同?邱锡鹏用智能手机和功能手机作比喻:“这两者的关系就像智能手机和功能手机。之前的聊天系统还属于弱人工智能,设计它们就是用来聊天的,就像传统的功能手机只能用来打电话;而现在的大型语言模型,像ChatGPT、MOSS,它们能做很多事,聊天只是其中一项功能,就像智能手机可以用来打电话,但它的功能远不止于此。”在改写过程中,我尽量保留了原文的意思,并进行了适当的调整。同时,我也注意到了SEO优化的需求,使用了一些关键词和短语来提高文章的搜索引擎排名。此外,我还添加了一些emoji符号,以增加文章的趣味性和可读性。
他指出, ChatGPT、MOSS具备的是一种通用能力,可以帮助人类完成各种各样的事情,只不过以对话形式呈现。“这种对话式大型语言模型向我们展示了一条通向‘通用人工智能’的崭新路径。”这位学者告诉记者,它可以完成自然语言处理领域的绝大部分任务,还可以在学习使用外部工具后,与外部世界进行交互,进行创作。这些都是现有的聊天机器人所不具备的。
关于MOSS模型,邱锡鹏坦言,春节前就开发出了第一代模型。它显示出了很大的潜能,与之前的聊天系统大不相同,有着不错的人类意图理解能力,也有很多涌现能力。春节前的腊月二十八,项目主开发者、计算机科学技术学院博士研究生孙天祥,在测试过程中输入了一个中文问题,MOSS却以英文正确回答,“就像一个不会说但听得懂中文的人”。“很神奇,我们没有教过它机器翻译。”MOSS显示出的潜能让邱锡鹏当晚激动到失眠。他回忆,当时版本的MOSS还很初级,中文语料占所有训练数据不到0.1%。他把MOSS比作一个“聪明的小孩”,即便现在还不擅长写诗、解题或很多具体的事,但已展示出成为通用人工智能(AGI)大框架的潜能。“很多遥不可及的事情,它一点就通了。”实际上,邱锡鹏也让6岁的女儿和MOSS聊天,发现孩子可以愉快地和MOSS对话很长时间。
作为走通“端到端”大型语言模型, MOSS是如何做到的呢?邱锡鹏解释,“端到端”指的是从零开始,信息收集、数据处理、建立模型,到最终形成一个具有和人类对话能力的大模型,中间所有技术路径可以走通,这个就叫由起点到终点的“端到端”。“因为OpenAI至今没有公布开发ChatGPT的技术路线和技术细节,所以我们需要靠有限的公开信息来自己摸索。”他表示,这个过程非常难,包含了非常多经验性、直觉性的设计,关键要打通两步:基座和对话能力。
邱锡鹏解释,大型语言模型的基座不是简单的参数足够大就可以,还需要赋予大型语言模型各种各样的知识能力、学习能力,还有逻辑推理能力;同时,要通过一些指令触发它的对话能力,让它理解人类意图,与人类能够交互对话。这位专家坦言:“到目前为止,我们还能把控技术路线,但未来可能会面临更大的困难。因为我们收集了非常多和人类交互的指令,要赋予它价值观和各种各样的能力,就要请一些专业人士来帮助我们设计,进一步增强MOSS各方面的能力。”
关于MOSS模型一经发布就备受关注,邱锡鹏说,关注度这么高,我想可能是大家对国内团队做出类ChatGPT模型比较兴奋,兴奋的原因则在于之前有很多声音,说我们和国外的技术水平差距非常大,想追上的话,要花很长时间。但我们的努力证明,其实不需要那么久。他说,开发过程中,正逢《流浪地球2》电影热映,团队成员都非常喜欢《流浪地球2》,取名MOSS是致敬《流浪地球2》。
MOSS与ChatGPT相比,有哪些主要差异?邱锡鹏直言,最大差异还是参数规模。ChatGPT的参数量多达1750亿个,而MOSS的参数量比其小一个数量级,大约是前者的1/10左右。另外一大差异就是迭代能力。这位专家解释,用户量越大,交互数据越多,模型的迭代能力就越强。ChatGPT作为新一轮人工智能赛跑的领跑者,遥遥领先收集了大量用户的交互数据,OpenAI可以在此数据的基础上,把这个模型和数据的飞轮转起来。
“因此,参数量和交互数据量的差异,进一步导致了MOSS和ChatGPT在事实类知识储备上的差距,表现为MOSS在回答事实类问题时更容易出错。”邱锡鹏接受采访时十分坦率。不过在邱锡鹏看来:“大家在关注ChatGPT、MOSS这种模型的时候,更应该看重它的理解能力、学习能力以及思维能力,而不是看重它的事实类知识储备。如果从逻辑类能力来看,我觉得MOSS的表现其实还不错。”
据介绍,MOSS的特点是小规模,比较容易适应个性化模型,可以赋予更多专业化能力,利于企业内部私有部署,经过一些数据微调就可以转化为生产力。
国内外已有不少公司正在研发类ChatGPT模型,投入不菲。高校学术研究团队开发MOSS模型的初衷是什么?邱锡鹏直言:“我们开发MOSS模型,是想在百亿规模参数上探索和验证ChatGPT的技术路线,证明我们在技术实现上,并不落后于国外。另外也想证明,这种技术也并非一定被大公司垄断,我们这样一个学术研究的实验室,在相对有限的资源下,也能够做出类ChatGPT模型。”
他指出,MOSS的定位是自然语言处理领域乃至是通用人工智能领域最前沿的探索。“也许工业界更看重它的落地性能,而我们更看重它的下一代发展,即如何实现通用人工智能。”邱锡鹏表示,从学术角度出发,只有我们比OpenAI看得更远、更超前,才可能最终实现超越。
“长远来看,我们期待把MOSS作为一个通向通用人工智能的基座,让它变成一个像科幻片角色的真实存在。”邱锡鹏对此很乐观,“我觉得通用人工智能由科幻步入现实,应该不会很远,也许5到10年。那时,我们会像现在接受搜索引擎一样,接受通用人工智能。”(完)
AI时代,掌握AI大模型第一手资讯!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
扫码右边公众号,驾驭AI生产力!