文章主题:关键词: #丰色 #萧箫 #发自 #凹非寺 #量子位 #公众号 #QbitAI #类ChatGPT #产品 #开源 #MOSS #003 #基座预训练模型 #国内首个开放测试 #ChatGPT #复旦大学 #邱锡鹏 #人工智能 #机器学习
丰色 萧箫 发自 凹非寺
量子位 | 公众号 QbitAI
复旦大模型MOSS,正式开源了!
作为国内首个开放测试的类ChatGPT产品,MOSS开源地址一放出,又冲上知乎热搜:
从官网介绍来看,MOSS是一个拥有160亿参数的开源对话语言模型。
它由约7000亿中英文及代码单词预训练得到,精度要求不那么高的话,甚至可以在单张3090显卡上运行。
MOSS支持中英双语,拥有多轮对话和使用多种插件双重能力,具备搜索引擎、文生图、计算器、方程求解的“技能点”。
目前,MOSS在GitHub上已有2.3k Star,热度还在持续上涨中。
那么,MOSS究竟开源了哪些项目,目前有哪些功能?一起来看看。
会解方程,也能生成图片
据了解,这次MOSS开源的是第三轮迭代版本,名叫MOSS 003。
MOSS 003并非全面开源所有模型,目前仅公开了基座预训练模型。预计在未来不久,完整模型也将相继开源。
在此之前,MOSS已经完成了两个版本的迭代过程。首先是MOSS 002版本,通过公开邀请内测的方式,收集并分析了大量用户反馈;接着是OpenChat 001版本,主要针对内部团队进行测试,以期在正式上线前发现并解决可能的问题。
三月份大伙儿见证的“国内首个开放测试的ChatGPT”,正是MOSS 002版本。
最新这个版本展现的功能效果如何?
MOSS团队放出了它多轮对话、解方程、写代码、生成图片和回答道德伦理等示例。
这是多轮对话的展示效果,具备资料追根溯源的能力:
这是做数学题的示例,包括鸡兔同笼问题:
也包括生成图片功能:
还有近期网友热议的AI道德性问题:
当然,这波里面也不乏“砸场子”的网友。
在官方的GitHub问答环节中,一些网友对于ChatGLM3-6B的中文能力以及与官方的比较表现出了极高的兴趣。其中,有人甚至发起了关于两者之间优劣的讨论。也有一些网友通过幽默的方式对此进行了调侃。
你是来砸场子的么?
在MOSS 002公开测试期间,我们的团队曾明确表示,MOSS的中文表现并不理想,这一问题同样源于其训练数据的局限性。
除此之外,团队这次还开源了一部分训练数据。
至于完整数据,复旦MOSS团队表示“近期会全部开源”。
国内最先发布的ChatGPT产品
MOSS取自于《流浪地球》里面那个拥有自我意识的AI。
它由复旦自然语言处理实验室邱锡鹏团队研发,2月20日正式发布。
当时国内一众大厂还在陆续高调官宣要造ChatGPT,谁都没想到它就这么一声不吭地杀了出来。
所以尽管MOSS的参数量比ChatGPT小了一个量级,大家还是蜂拥而上,把服务器都给挤爆了。
而发布没过一周,复旦大学教授邱锡鹏就在演讲中提出,如果优化顺利,计划在三月底开源MOSS。
因为在他看来:
人们之所以很容易有“卡脖子”问题,是因为缺乏一个好的行业生态。
就拿ChatGPT来说,OpenAI公司只需专注做好模型,算力、数据和系统则交给其他公司。反观国内,很多公司在做大型语言模型时所有环节都需要自己做,每家的数据和算力也有限,结果是每家都做不大。在发展过程中,大型语言模型训练与在线推理成本过高也是一个重大问题。
因此,他们一开始就考虑要把MOSS开源而不是商业化。
有了这样一个基座,大家就不用重复开发底层技术,可以在上面接不同的细分领域。
如今,虽晚了快一个月,MOSS也说到做到了。
你试用过复旦MOSS开源模型了吗?效果如何?
MOSS开源项目地址:
[1]https://github.com/OpenLMLab/MOSS[2]https://huggingface.co/fnlp/moss-moon-003-base[3]https://huggingface.co/fnlp/moss-moon-003-sft[4]https://huggingface.co/fnlp/moss-moon-003-sft-plugin参考链接:
https://www.zhihu.com/question/596908242— 完 —
量子位 QbitAI · 头条号签约
AI时代,拥有个人微信机器人AI助手!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!