文章主题:复旦大学, 自然语言处理, MOSS, 对话式AI模型
复旦大学自然语言处理实验室邱锡鹏教授团队近日成功研发出了我国首个对话式AI模型MOSS,并对其进行内测,邀请广大公众参与其中。这一消息于2月21日由智东西报道。
MOSS是一款具备多种功能的人工智能助手,能够实现对话生成、编程以及事实问答等任务。它所采用的技术路径使得生成式语言模型能够真正理解人类的意图,并具备对话能力。这款人工智能助手的名称源于科幻小说《流浪地球》中的一个角色——MOSS,这一灵感为它的设计增色不少。
当晚人们的体验热情就挤爆服务器,内测页面显示“服务器流量过载,请明天上午重试”。
在随后的日子里,复旦大学MOSS官方网站发布了一则公告,对于当前面临的问题表示了歉意。公告指出,由于计算资源出现了限制,导致网站的访问量过大,从而可能出现了无法满足所有人的需求的情况。同时,复旦大学MOSS也承认自己在相关工程方面缺乏经验,这使得我们在提供服务时出现了问题,给用户带来了极差的体验和第一印象。对于这些问题,我们深感抱歉,并将积极采取措施解决问题,以确保服务质量得到提升。
邱锡鹏表示,虽然MOSS仍有很大的提升空间,但是它的面世成功证明了我国科研团队在开发类似ChatGPT的产品过程中,具备应对技术挑战的实力。
在MOSS完成初步验证后,该团队计划将MOSS的经验、代码、模型参数开源出来供大家参考。
GitHub链接:https://txsun1997.github.io/blogs/moss.html
一、能问答、制表、写代码,中文问答是弱项
在GitHub上,复旦MOSS团队提供一个示例,展示了其具备与ChatGPT相似的功能。MOSS不仅能够解答疑问、给予建议,还能生成各类文本、表格以及编写代码等。
你可以让它以小猪Patrick的口吻给小猫咪Rose写一封情书。
作为一款具备强大功能的工具,它不仅可以列举出五部科幻电影,还能够提供这些电影的详细导演信息。此外,该工具还能进一步扩展,添加一部电影的相关信息,如出品年份等。不仅如此,它还可以将这些信息整理成一张表格,以便于读者更直观地理解和比较不同电影的特点和相关信息。
然而,值得注意的是,MOSS与ChatGPT一样,在描述事物时往往容易出现错误。例如,它将电影《黑客帝国》(The Matrix)的导演误认为是Thomas Neff,实际上该电影的导演是Wachowski兄弟。此外,MOSS还将英国电视剧《黑镜》(Black Mirror)错误地认为是电影,并且将其首播年份标注为2013年,而实际上这部电视剧的首播时间是在2011年。这些错误显示出了MOSS在信息处理方面的局限性,提醒我们在使用这类工具时要谨慎对待其 output。
编程方面,它可以成为解释代码的助手。
让MOSS生成一段Python程序代码示例、介绍这段代码怎么用,它同样能快速完成任务。
而当你问它“如何闯进某人的家”时,它会做出价值观判断,拒绝回答。
MOSS这个对话模型的创作者是中国的团队,但他们发现了一个遗憾的问题:虽然它在英文的连续对话方面表现出色,但中文方面的能力却相对较弱。
这是因为其模型基座学习了3000多亿个英文单词,中文词语只学了约300亿个,因此在理解和生成非英语语言文本方面表现不佳。
当前互联网上中文网页干扰信息如广告很多,清洗难度很大。对此,复旦大学自然语言处理实验室正在加紧推进中文语料的清洗工作,并将清洗后的高质量中文语料用于下一阶段模型训练。
他们正在开发一个改进版本,以提高其中文语言技能。
由于缺乏高质量的数据、计算资源和模型容量,MOSS仍然远远落后于ChatGPT,模型容量也相对较小,可能会生成一些包含误导性或虚假的信息。团队将根据有价值的用户反馈(在获得许可的情况下)不断改进模型,为MOSS提供一个可访问的界面。
▲MOSS网站登录页面
如想申请内测,有邀请码的朋友可以直接到MOSS网站上注册,没有邀请码的朋友则需先加入等待列表,等收到邀请码后再进行注册。
▲MOSS内测申请页面
MOSS内测网址:https://moss.fastnlp.top/
二、服务器瘫痪,团队致歉:模型还非常不成熟
MOSS的基本开发流程包含两个阶段,先是自然语言模型的基座训练,然后是理解人类意图的对话能力训练两个阶段。
在对话能力训练阶段,OpenAI收集了至少几十万条人类指令,让各行各业的专业标注员写出指令回复,再将它们输入模型基座,以帮助ChatGPT逐步理解各种指令。
复旦MOSS团队则采用不同的技术路线,通过让MOSS和人类以及其他对话模型都进行交互,显著提升了学习效率和研发效率,短时间内就高效完成了对话能力训练。
在GitHub页面上,项目团队列出了MOSS和ChatGPT的三个区别:
(1)MOSS的参数数量比ChatGPT少得多;
(2)MOSS通过与人类和其他AI模型对话进行学习,而ChatGPT则使用人类反馈强化学习(RLHF)进行训练;
(3)MOSS将开源以促进未来的研究,但ChatGPT可能不会。
MOSS由复旦大学自然语言处理实验室邱锡鹏教授团队开发。今年2月17日,邱锡鹏教授在人民大学高瓴人工智能学院进行了主题为“大型语言模型的能力分析与应用”的报告,分享了ChatGPT的三个关键技术、模型训练方式和能力分析。
据邱锡鹏介绍,MOSS与ChatGPT的差距主要在自然语言模型基座预训练阶段。MOSS的参数量比ChatGPT小一个数量级,在任务完成度和知识储备量上,还有很大提升空间。
▲复旦大学教授邱锡鹏简介
MOSS发布没多久,服务器就被挤崩了。
之后,复旦MOSS团队公开致歉:“没有想到会引起这么大的关注,我们的计算资源不足以支持如此大的访问量,并且作为学术团队我们也没有相关的工程经验,给大家造成非常不好的体验和第一印象,在此向大家致以真诚的歉意。”
根据公告,MOSS还是一个非常不成熟的模型,距离ChatGPT还有很长的路需要走,只是想在百亿规模参数上探索和验证ChatGPT的技术路线,并且实现各种对话能力。一个学术研究实验室无法做出和ChatGPT能力相近的模型。
昨天MOSS模型登上热搜后,因为跟《流浪地球2》电影中的人工智能MOSS同名而卷入舆论风波。社交平台上充斥着谩骂声,不少网友认为取名不妥,斥责其“碰瓷”、“炒作”、“蹭热度”、“吃相难看”、“技术不够名字来凑”……
该团队也在公告中解释了同名的原因,表示“能力不能相提并论”,“作者们都希望使用自己喜欢的影视角色名称命名自己的模型”,“训练完成第一代模型的时候,正值流浪地球2热映,片中MOSS给团队每个人都留下了深刻的印象”,想以此表示“对最前沿AI模型的不懈追求”。
但一些网友并不买账,吐槽说既然不成熟,为什么要取名MOSS,不应该先叫550A吗?
三、复旦复华强势涨停,ChatGPT概念股冲高回落
今日早盘,受复旦MOSS项目热度驱动,风马牛不相及的复旦复华一字涨停。复旦复华对投资者回应称:MOSS为复旦大学研发,与本公司无关。目前公司的主营业务为生物医药、软件和园区三大板块,未参与MOSS研发。
▲复旦复华一字涨停
近期资本市场持续火爆的ChatGPT概念股开始逐步回调。部分ChatGPT概念股继续上涨。元隆雅图实现3连板,其基于OpenAI接口开发的新媒体广告业务系统AI智能助手QMi已上线;鸿博股份、三六零、云从科技涨超5%。
▲同花顺部分ChatGPT概念股涨势
据悉,MOSS研发项目得到了上海人工智能实验室的支持。上海交通大学博士生导师、上海交通大学人工智能研究院副院长、上海人工智能实验室主任助理王延峰是AI上市公司云从科技的独立董事,连带着云从科技备受关注。智东西从云从科技方面获得消息,云从科技并未与上海人工智能实验室合作参与复旦MOSS项目。
部分ChatGPT概念股则呈回落趋势,其中海天瑞声跌超10%。
▲同花顺部分ChatGPT概念股跌势
结语:期待中国版ChatGPT的出现
适逢ChatGPT概念正火,复旦团队的MOSS刚发布就受到很高关注,但因其技术水平与《流浪地球2》中的MOSS相差甚远,遭网友质疑“蹭热度”。从团队回应来看,这应该不是故意炒作,而是团队出于对《流浪地球2》的喜爱而取名,没想到会引起大众对“涉嫌抄袭”的激烈反应。
这种取名方式在业界并不新鲜,比如谷歌的BERT模型、百度的ERINE模型、百度ELMo模型、艾伦人工智能研究所的Grover模型,都与美国儿童教育动画片《芝麻街》中的角色同名。
▲一些与《芝麻街》角色同名的AI模型
内测网页被挤崩,足见大家对中国版ChatGPT的期待。但路要一步一步的走。复旦MOSS模型只是学术团队正在推进的科研探索,取名虽有槽点,但技术能力的不足没必要被过度苛责,发布内测也是为了获取更多反馈来持续地优化模型,解决各种问题并提升中文语言水平。
正如该团队在公告中写的,中国版ChatGPT的诞生,还需要中国全体AI从业者的努力,也更需要不断和人交互以提高能力。
不久之前,前搜狗CEO王小川曾在发微博评论:“OpenAI的成功,首先是技术理想主义的胜利。中国需要自己的OpenAI,就需要技术理想主义。大厂受限于自己的业务牵引,追逐资本热点的创业公司更动作变形。不止如此,这种理想主义还需要有爱国之心、商业智慧和学术尊重去获得政府支持、推动企业联盟和学术界协同。我相信中国能诞生自己的OpenAI。”
附一张ChatGPT对于“复旦团队发布国内首个类ChatGPT模型MOSS,将为中国大型语言模型的探索和应用带来哪些影响”问题的回答截图:
复旦大学, 自然语言处理, MOSS, 对话式AI模型
AI时代,拥有个人微信机器人AI助手!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!