文章主题:复旦大学MOSS, 内测, 服务器挤崩, ChatGPT
复旦MOSS内测,服务器被挤崩!与ChatGPT差距较大
在2月20日的夜晚,复旦大学自然语言处理实验室的研究团队由邱锡鹏教授率领,成功推出了我国第一个类似于ChatGPT的模型——MOSS。这个模型的名称独特,与科幻电影《流浪地球》系列中的MOSS人工智能有着相同的称呼。
南都记者了解到,MOSS具备对话生成、编程以及事实问答等多项任务处理能力,成功实现了让生成式语言模型理解和回应人类意图的 dialogue 能力。此技术路径的打通,标志着 MOSS 的诞生。目前,由邱锡鹏教授团队发布的 MOSS 已经上线公开平台,并诚邀广大公众参与内测。
南都实测:实行邀请码机制注册
南都记者经过实际测试发现,当前,MOSS账号的注册采用邀请码制度,用户需通过填写内测申请并等待他人发送邀请码至邮箱方可加入内测。然而,内测申请通道拥堵严重,网页长时间处于加载状态。部分网友反映,受瞬间访问量冲击,MOSS服务器曾在昨晚遭遇网友瘫痪。
关于此事,邱锡鹏教授团队在公共平台上发布声明作出回应:“我们的初衷仅仅是为了对MOSS进行内部测试,以便对其进行更深入的优化。然而,没想到会引发如此广泛的关注。”他们表示,他们的研究机构作为一个学术性研究实验室,并无法制造出与ChatGPT相匹敌的能力。MOSS的目标只是在百亿规模参数上探索和验证ChatGPT的技术路径,并实现各种对话功能。
国盛证券曾对GPT技术训练成本进行了初步估算,结果表明,训练一次GPT-3的成本大约为140万美元,而对于较大规模的LLM(如大型语言模型),训练成本则在200万美元到1200万美元之间。以ChatGPT January独立访客的平均数量1300万为例,对应的芯片需求量达到了3万多片英伟达A100 GPU,初期投资成本大致约为8亿美元,每天的电费也在5万美元左右。如此庞大的服务器和网络总成本支出,超过1000亿美元。
近日,南都举办了一场关于ChatGPT的沙龙,专家们指出,我国企业在开发大型人工智能模型时面临着一场严峻的挑战,这需要国内各企业团结一致,共同应对。在此过程中,我们需要有才华的人才积极参与,同时,像阿里巴巴和百度这样的知名企业也应发挥其重要作用,整合各自的智慧资源,共同构建符合我国自身特点的布局和战略。
MOSS的短板:中文水平不够高
邱锡鹏教授团队同时解释了产品取名“MOSS”的原因——“我们在训练完成第一代模型的时候,正值《流浪地球2》热映,片中MOSS给团队每个人都留下了深刻的印象,因此便使用了这样一个名称来指代我们的模型,以表示我们对最前沿AI模型的不懈追求。”
邱锡鹏教授团队透露,在MOSS完成初步的验证之后,会将MOSS的经验、代码、模型参数开源出来供大家参考。
邱锡鹏本人表示:“尽管MOSS还有很大改善空间,但它的问世证明了在开发类ChatGPT产品的路上,国内科研团队有能力克服技术上的重要挑战。”
据了解,MOSS开发的基本步骤与ChatGPT一样,包括自然语言模型的基座训练、理解人类意图的对话能力训练两个阶段。但MOSS与ChatGPT的差距主要在自然语言模型基座预训练这个阶段。“MOSS的参数量比ChatGPT小一个数量级,在任务完成度和知识储备量上,还有很大提升空间。”邱锡鹏坦言。
此外,MOSS的最大短板是中文水平不够高。“MOSS的英文回答水平比中文高,因为它的模型基座学习了3000多亿个英文单词,中文词语只学了约300亿个。”主要原因是互联网上中文网页干扰信息如广告很多,清洗难度很大。为解决这一问题,复旦大学自然语言处理实验室正在加紧推进中文语料的清洗工作,并将清洗后的高质量中文语料用于下一阶段模型训练。
“MOSS”火出圈:商标注册跟风涌现
提到MOSS,很容易让人联想到《流浪地球2》中的那句台词。“550W听起来不像是名字,但把它反过来,叫MOSS,直译为小苔藓,是不是感觉亲切了一些。”MOSS平静的语调和闪烁的红色灯光,穿插在故事主线中,给观众留下了深刻的印象。
据统计,春节档电影《流浪地球2》累计票房已超过38亿元。在该片票房加持下,郭帆也成为中国影史上第七位“百亿票房导演”。
在这种影响力下,MOSS也成了香饽饽。天眼查App显示,“MOSS”商标已被多方注册为商标,申请人包括科技公司、电商公司、传媒公司以及自然人许某某、谭某某等,国际分类包括科学仪器、灯具空调、运输贮藏等。
“MOSS”商标相关的知识产权情况。来源:天眼查
最近的一枚“MOSS”商标是某科技公司申请于2023年1月,国际分类为手工器械,目前商标状态为申请中。
值得一提的是,复旦复华(600624.SH)今日(2月21日)开盘涨停,截至记者发稿,仍处于涨停板状态,股价报6.78元。尽管公司方面已回应称,MOSS为复旦大学研发,与本公司无关。目前复旦复华的主营业务为生物医药、软件和园区三大板块,未参与MOSS研发。
采写:南都记者 赵唯佳 发自上海返回搜狐,查看更多
责任编辑:
AI时代,拥有个人微信机器人AI助手!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!