文章主题:
IT之家 4 月 21 日消息,复旦大学自然语言处理实验室开发的新版 MOSS 模型今日正式上线,成为国内首个插件增强的开源对话语言模型。
目前,MOSS 模型已上线开源,相关代码、数据、模型参数已在 Github 和 Hugging Face 等平台开放,供科研人员下载。
据介绍,MOSS 是一个支持中英双语和多种插件的开源对话语言模型,moss-moon 系列模型具有 160 亿参数,在 FP16 精度下可在单张 A100 / A800 或两张 3090 显卡运行,在 INT4/8 精度下可在单张 3090 显卡运行。MOSS 基座语言模型在约七千亿中英文以及代码单词上预训练得到,后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。
MOSS 来自复旦大学自然语言处理实验室的邱锡鹏教授团队,名字与《流浪地球》电影中的 AI 同名,已发布至公开平台(https://moss.fastnlp.top/),邀请公众参与内测。
IT之家查看 MOSS 的 GitHub 页面发现,该项目所含代码采用 Apache 2.0 协议,数据采用 CC BY-NC 4.0 协议,模型权重采用 GNU AGPL 3.0 协议。如需将该项目所含模型用于商业用途或公开部署,需要签署文件并发送至 robot@fudan.edu.cn 取得授权,商用情况仅用于记录,不会收取任何费用。
MOSS 用例: ▲ 解方程▲ 生成图片▲ 无害性测试模型🌟【Moss-Moon-003基座】🚀 – 高端模型大揭秘!💡基于丰富且高质量的中英文语料库,MOSS-003基座模型经历了深度的自监督预训练,实力超群!📊 精心打磨的700B海量词汇,犹如知识海洋,每一字句都蕴含深厚智慧。🌊这不仅仅是技术上的壮举,更是语言理解的里程碑,6.67×1022次的计算量背后,是数不尽的数据流动与深度学习的结晶。💻无需担心来源或联系方式,我们的目标是为用户提供卓越的学术体验。📝 想要感受前沿科技的力量?MOSS-Moon-003基座等你来探索!🚀SEO优化提示:使用关键词”自监督预训练”、”700B词汇量”、”计算量6.67×1022″,并融入行业相关术语和情感色彩。
moss-moon-003-sft: 基座模型在约 110 万多轮对话数据上微调得到,具有指令遵循能力、多轮对话能力、规避有害请求能力。
🌟🚀Moss-Moon-003-SFT-Plugin: 🚀✨基于庞大且深入的110万+对话轮训数据及30万+插件优化,这款基座模型已臻完善,不仅核心强大,还能轻松驾驭四种实用工具——搜索引擎、文本转图、计算器和解方程。🚀🔍在SEO优化的世界里,它就像一颗闪耀的明星,等待着被广泛发现和利用。💡💪#对话技术 #MossMoon #插件功能
🚀✨Moss-Moon-003-PM的秘密即将揭晓!🚀💡我们很高兴地宣布,基于最新SFT数据的偏爱预测模型,将在不久后以开源的形式向全球展示其智慧。无需等待,敬请期待这一创新技术的公开释放,让科技的力量惠及每个人。🏆🌍
🚀🚀【Moss-Moon-003】秘密武器公开!🚀🚀🔥基于顶尖技术平台【Moss-Moon-003-SFT】,我们精心打造了专属于你的【Moss-Moon-003-PM】偏好模型,一场事实与安全的革命就此启程!🔥🔍经过深度训练和严谨验证,这款模型不仅保证信息准确无误,还以超乎想象的安全性守护每一份交流。🌍🛡️稳定的回复质量,无论何时何地,都能提供一致且专业的服务,让你的每一次互动都如丝般顺畅。🌐🎉好消息来了!近期,我们即将慷慨地将这个革命性的工具开源,让每个人都能享受到科技带来的便捷与智慧。🎉别忘了,保护隐私,从选择【Moss-Moon-003】开始!👩💻👨💻#MossMoon003 #偏好模型 #事实安全 #稳定回复 #开源计划
🚀🚀🚀 Moss-Moon-003 Plugin Upgrade Alert 🚀🚀🚀Introducing the game-changing upgrade to our beloved Moss-Moon-003 SFT Plugin! 🤖✨ After rigorous training with the advanced preference model, Moss-Moon-003 PM, this next-generation tool is set to revolutionize your experience. It’s not just about better understanding – it’s a leap in plugin prowess.Get ready for enhanced intent recognition that will streamline your interactions and boost efficiency. Expect seamless integration, making your plugin usage a breeze. And the best part? This cutting-edge innovation is on its way to being open-source, democratizing access for all.Stay tuned for the release date, where you’ll be able to harness the power of this refined tool without any strings attached. 🤖💻🚀Remember, our focus remains on delivering top-notch solutions and fostering a community that thrives on innovation. Let’s make this plugin journey even more exciting together! 🚀🌈 #MossMoon003Upgrade #PluginEvolution
数据🌟【揭秘】MOSS-002超实用对话大揭秘🔍——数据力扛旗!$moss-002-sft-data$集三大维度,诚意满满!📊这款AI语音交互的黄金样本——MOSS-002,以其丰富多样的对话内容,展现了强大的智能实力。它不仅覆盖了有效性、忠实性与无害性的全方位考量,更是以惊人的57万条英文和59万条中文对话,震惊业界的眼球!📝=text-davinci-003的杰作,每一条都犹如精心雕琢的艺术品,既实用又富有深度,为你的技术之路铺设了坚实的基石。🎯无论是学术研究、教育应用还是商业交流,这份数据都是不可或缺的宝贵财富。快来探索这个对话世界的宝藏吧!💎欲了解更多详情,敬请关注后续更新,我们保证提供最专业且隐私保护的信息。💌SEO优化提示:使用长尾关键词如”AI多轮对话数据集”、”有效性评估”、”忠实性测试”等,并在文本中自然融入。
moss-003-sft-data: moss-moon-003-sft 所使用的多轮对话数据,基于 MOSS-002 内测阶段采集的约 10 万用户输入数据和 gpt-3.5-turbo 构造而成,相比 moss-002-sft-data,moss-003-sft-data 更加符合真实用户意图分布,包含更细粒度的有用性类别标记、更广泛的无害性数据和更长对话轮数,约含 110 万条对话数据。目前仅开源少量示例数据,完整数据将在近期开源。
moss-003-sft-plugin-data: moss-moon-003-sft-plugin 所使用的插件增强的多轮对话数据,包含支持搜索引擎、文生图、计算器、解方程等四个插件在内的约 30 万条多轮对话数据。目前仅开源少量示例数据,完整数据将在近期开源。
moss-003-pm-data: moss-moon-003-pm 所使用的偏好数据,包含在约 18 万额外对话上下文数据及使用 moss-moon-003-sft 所产生的回复数据上构造得到的偏好对比数据,将在近期开源。
MOSS 的 GitHub 页面:点此查看
AI时代,拥有个人微信机器人AI助手!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!