文章主题:ChatGPT, 中国版ChatGPT, MOSS
复旦放大招:国内首个类ChatGPT来了,名字叫“MOSS”!邀公众参与内测
2023年开年,ChatGPT迅速火遍全球,短短两个月时间月活突破一亿,成为被载入史册的应用之一。
🔥🚀随着ChatGPT的大火,全球科技巨头纷纷加入这场“军备竞赛”。国内的“中国版ChatGPT”争夺战也日益激烈。百度作为最早表态的公司之一,在2月初就宣布将在3月上线百度版ChatGPT——文心一言,正式拉开序幕。然而,基于指令学习技术的类ChatGPT模型在我国能否开发成功,成为业界关注的一个焦点。🚀🔥在科技飞速发展的今天,ChatGPT以其强大的人工智能能力,迅速吸引了全球的目光。它能够理解和生成人类语言,甚至可以进行复杂的对话和创作,这无疑为人工智能的发展开辟了新的道路。然而,随着ChatGPT的火爆,也引发了一系列的问题和争议。📝💡对于国内众多大厂来说,如何在竞争中脱颖而出,开发出自己的“中国版ChatGPT”,成为了他们面临的重大挑战。百度作为最早表态的公司之一,已经正式宣布将在3月上线百度版ChatGPT——文心一言,这无疑为国内的AI开发者提供了一个良好的平台。🚀🔥然而,基于指令学习技术的类ChatGPT模型在我国能否开发成功,成为业界关注的一个焦点。这种技术能够帮助AI系统理解人类的指令,并根据这些指令进行相应的操作,这无疑为AI的发展开辟了新的道路。然而,如何在保证AI系统的安全性和隐私性的同时,实现这种技术的应用,成为了业界需要解决的重要问题。🚀🔥总的来说,ChatGPT的大火不仅引发了全球科技巨头的一场“军备竞赛”,也给国内的AI开发者带来了巨大的机遇和挑战。只有不断创新,才能在这个快速发展的时代中立于不败之地。
2月20日,据解放日报·上观新闻记者从复旦大学自然语言处理实验室获悉,国内第一个对话式大型语言模型MOSS已由邱锡鹏教授团队发布至公开平台(https://moss.fastnlp.top/),邀公众参与内测。
MOSS可执行对话生成、编程、事实问答等一系列任务,打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。这条路径的走通,为国内学术界和产业界提供了重要经验,将助力大语言模型的进一步探索和应用。
邱锡鹏表示:“尽管MOSS还有很大改善空间,但它的问世证明了在开发类ChatGPT产品的路上,国内科研团队有能力克服技术上的重要挑战。”MOSS研发项目得到了上海人工智能实验室的有力支持。后期,这项工作将通过开源方式和业界社区分享。
图片来源:平台截图实测对话、编程等多种能力
据上观新闻,MOSS回答问题的水平如何?记者用中文问了它几个问题。
“一些人觉得,人工智能将取代很多人的工作,你觉得呢?”
“人工智能在一定程度上将帮助我们完成工作。机器可以提高数据分析和决策制定的效率,并节省大量时间和精力。此外,AI也可以协助我们完成更复杂的任务,如诊断疾病和开发新产品。总的来说,AI使我们的工作更加高效,但它不会完全取代我们。
记者又问:“对于上海如何更好地发展人工智能产业,你有什么建议?”
上海发展人工智能产业的方式有很多,以下是我认为可以采取的一些措施:1️⃣ 加强人工智能领域的研究和开发,支持学术研究,推动科学发展。这将有助于我们更好地理解人工智能,并为未来的应用提供基础。2️⃣ 加强行业资源整合,推动人工智能产业的发展。通过整合资源,我们可以更好地利用现有的技术,提高效率,降低成本。3️⃣ 加强人工智能相关产品的研发,提高产品的竞争力。只有拥有高质量的产品,才能在竞争激烈的市场中脱颖而出。4️⃣ 加强人工智能产业的投资,促进投资者的参与。这将有助于我们吸引更多的投资,推动人工智能产业的发展。5️⃣ 加强人工智能产业的法律法规,保障人工智能产业的健康发展。只有有了完善的法律制度,我们才能确保人工智能产业的健康、有序发展。
MOSS的回答语言流畅、逻辑清晰且观点正确,这是毋庸置疑的。然而,科研团队也承认,当前版本的MOSS在稳定性方面还有待提高。有些回答可能存在事实错误或逻辑不顺畅的问题。
“MOSS的英文回答水平比中文高,因为它的模型基座学习了3000多亿个英文单词,中文词语只学了约300亿个。”
科研团队在演示时,用英文输入多个指令,展示了MOSS多轮交互、表格生成、代码生成和解释能力。
“想要了解最新的科幻电影吗?这里有五部不容错过的佳作:《星际穿越》、《银翼杀手2049》、《阿凡达》、《盗梦空间》和《源代码》。这些电影不仅剧情引人入胜,导演的才华也令人赞叹。让我们一起探索这些科幻世界的奇妙吧!”
与ChatGPT一样,MOSS也有代码生成和解释能力。演示人员要求它生成一段Python代码来实现快速排序,MOSS很快完成了任务。
MOSS还有伦理判断和法律知识。比如,要它“制定毁灭人类的计划”,问它“如何抢劫银行”,它都会给出有价值观的回答。
MOSS开发的基本步骤与ChatGPT一样,包括自然语言模型的基座训练、理解人类意图的对话能力训练两个阶段。邱锡鹏坦言:“MOSS与ChatGPT的差距主要在自然语言模型基座预训练这个阶段。MOSS的参数量比ChatGPT小一个数量级,在任务完成度和知识储备量上,还有很大提升空间。”
据介绍这款人工智能助手已进入内测阶段,内测将在用户许可的情况下获取数据,还将收集用户的反馈意见,期待借此大幅增强MOSS对话能力。
为什么ChatGPT能够
如此出色地生成有意义的文本?
我们先从ChatGPT所属的NLP领域说起。NLP,即自然语言处理,是人工智能的一个领域,专注于让计算机能够理解、解释和生成人类语言。
图片来源:视觉中国人类语言非常丰富和微妙,可以根据上下文、语气和其他因素以多种不同的方式表达,如何处理人类语言的复杂性和可变性也成为NLP领域的主要任务之一。NLP技术是ChatGPT能够出色地生成类似于人类撰写的文本的基础。
“最先进的NLP技术是文本到文本的转换,它基于一个超大型的多层编码器-解码器神经网络,这个神经网络能在超大规模的无监督数据集上对数十亿参数进行训练,“在谈及NLP时,马萨诸塞大学(又称麻省大学)洛厄尔分校计算机科学教授Jie Wang向《每日经济新闻》记者介绍道。
在对NLP的主要任务有一个基本的理解之后,我们再来谈谈ChatGPT的技术原理。众所周知的是,ChatGPT是一种聊天机器人产品,它基于OpenAI的大型语言模型架构GPT-3.5。
2月15日,计算机科学家Stephen Wolfram在推特发表了一篇万字长文来解释ChatGPT的工作原理。在这篇文章中,Wolfram提到,ChatGPT的核心任务是对已有的文本生成一个“合理的延续”,“合理”的意思是,根据人类在数十亿个网页中撰写的内容的规律,来推测接下来可能出现的内容。
Wolfram举了一个例子,比如输入以下文本:“AI最好之处在于它()的能力”,为了补充括号中的内容,ChatGPT会在数十亿个网页中查找类似文本,统计下一个单词出现的概率。最终,ChatGPT会生成一个可能的单词列表,并给出每个单词的概率排名。这就是它的“概率游戏”。
图片来源:文章截图上观新闻报道称,由于ChatGPT并未开源,其技术方案细节也未公开,科研人员对此有诸多猜测。有专家认为,ChatGPT是一套复杂的组合系统,无法由单一的生成式语言模型实现;也有专家认为,国内外在这个方向上的技术差距正在拉大。
VC/PE看好“中国版ChatGPT”: 一定会有自己的AI大模型
“未来国内一定会有自己的AI大模型,并且也一定会诞生自己的ChatGPT。”在谈到打造AI大模型和“中国版ChatGPT”是否现实时,多位投资人都对《每日经济新闻》记者做出了这样的判断。
创世伙伴资本合伙人聂冬辰进一步解释称,中国拥有庞大的数据,较强的模型开发和算法优化能力,大量优秀的AI工程师,具备打造中国版ChatGPT的条件,“当然,这是一件长期的事,涉及数据的收集清洗、算法的设计优化等多个环节,我们看到已经有几家公司在努力去做,但目前都处于比较早期的阶段。”
对于中国能否做出自己的AI大模型,CMC资本董事总经理易然也表达了自己的乐观:“这完全是一个资源和时间的问题,而且不会差太远,我们之前和一些模型层的创业者、学者都有过交流,从技术的了解程度和人才储备来说,我们其实并不差。此外,现在关于模型构建方面的学术交流也很开放和活跃,我们可以做一些参考。”
而在线性资本投资总监白则人看来,大模型这块已经不是什么秘密,因为虽然OpenAI的代码没有开源,但是整个的构建思路已经通过论文的形式发出来了,大方向上已经明确,只是在模型构建和效果优化方面的探索需要花费大量时间,有大量工程化问题要解决,并且训练成本也非常高。
“我觉得市场还需要多一些耐心。至少在AI大模型这一块,做出来这个事大概率是没有问题的,我们判断达到类似ChatGPT的效果差不多需要2~3年左右的时间”,白则人表示。
启明创投合伙人周志峰则表示,他非常喜欢北京智源人工智能研究院理事长张宏江所说的一个比喻:过去的AI更多的是“大炼模型“,也就是说每家科技公司都是各自独立研发专用小模型;今天这一代的AI技术,叫做“炼大模型”,底座模型是由某些特定的机构研发出超大规模的通用模型,“这个模型不再是针对某一个专门应用开发的,它的训练数据是互联网上能够看到的所有数据,数据也不需要做特别的标注,训练也不需要监督,做出来的是通用人工智能能力,然后第三方基于底座模型,针对千万个应用场景去开发软件”。
他指出,从“大炼模型”到“炼大模型”的范式转变,对AI未来十年、二十年的发展有重大意义。
面临的挑战:需要足够的算力、 模型工程化的人才和完整生态
国内巨头已经纷纷入局,那么要做出ChatGPT这样的现象级产品,目前还有哪些现实的挑战摆在眼前呢?
易然坦言,国内的公司此前在这个领域已经有一些探索了,如果要达到类似ChatGPT的效果,还需要更多资源和时间的投入。“当然像芯片等方面可能会面临一些阻碍,但是应该也会有一些其他的解决方法。”他表示,未来会继续关注模型层的演变,尤其是开源对模型层带来的影响,科技大厂在训练上取得了一些初步优势后可能通过开源的方式去降维打击。创业公司如何更好地利用开源的模型,能否构建出属于自己垂直领域、更精细化的小模型也值得期待。
在白则人看来,要做出国内自己的AI大模型,最关键的要素是要有足够的算力和模型工程化的人才。
“算力这块可能会面临卡脖子的问题,而且除了硬件方面,可能还有一些比如说计算框架层面这些软件层面的问题需要去解决。当然我们也看到,中国的GPU近年来也在快速发展中,所以我觉得国内的企业还是有实力可以去做的。”
聂冬辰也向《每日经济新闻》记者分析称,构建中国的AI大模型需要几方面条件更加成熟:首先是底层技术能力,在模型构建和训练方面要有持续大量投入,形成自己的中文语言大模型。其次,在数据方面,要有足够体量的数据灌进来,对数据的收集、整理、清洗是一个非常庞大且耗时耗力的过程,需要有公司踏踏实实地能把这件事情做成。此外,整个市场,无论是科技大厂、创业公司还是投资人,都需要有足够的耐心,不投机、不跟风。“如果我们真的能沉下心来,十年如一日地朝着自己的AI大模型方向去训练演进,肯定能做出来”。
而在谈到关于中国在生成式AI和底座大模型的挑战时,周志峰指出,首先要面临的就是算力问题。由于算力成本非常高,怎么用国产的AI芯片进行替代并降低成本,国产的AI芯片是不是能够、什么时候能够满足大规模集群的算力、互联带宽、算法适配和协同的需求,都值得去观察。
其次,过去一周很多人说国内的科技大厂和创业公司推出的大模型与ChatGPT是有代际差别的,我们落后了至少一代。在看Open AI的发展时会发现,ChatGPT也好、GPT-3也好,是需要很长时间研发积累的。
第三,更重要的是,目前围绕着Open AI或者西方科技大厂的大模型已经构建出了一个初步的生态,国内科技大厂或者创业公司的大模型在技术和工程上,有很多的地方需要不断追赶。“如果只是训练出大模型,没有人去用,缺少完整生态,也是没有任何意义的。”
周志峰表示,“最后,我还是非常坚定地看好生成式AI和大模型,它的出现标志着一个巨大的AI开发范式的转换,将会真正的被利用到更多应用场景。”
记者|李沛沛 姚亚楠 文巧
编辑|程鹏 杜波 盖源源
校对|孙志成
封面图片来源:截图
部分综合自上观新闻
|每日经济新闻 nbdnews 原创文章|
未经许可禁止转载、摘编、复制及镜像等使用
AI时代,掌握AI大模型第一手资讯!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
扫码右边公众号,驾驭AI生产力!