文章主题:
IT之家 4 月 21 日消息,复旦大学自然语言处理实验室开发的新版 MOSS 模型今日正式上线,成为国内首个插件增强的开源对话语言模型。
目前,MOSS 模型已上线开源,相关代码、数据、模型参数已在 Github 和 Hugging Face 等平台开放,供科研人员下载。
据介绍,MOSS 是一个支持中英双语和多种插件的开源对话语言模型,moss-moon 系列模型具有 160 亿参数,在 FP16 精度下可在单张 A100 / A800 或两张 3090 显卡运行,在 INT4/8 精度下可在单张 3090 显卡运行。MOSS 基座语言模型在约七千亿中英文以及代码单词上预训练得到,后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。
MOSS 来自复旦大学自然语言处理实验室的邱锡鹏教授团队,名字与《流浪地球》电影中的 AI 同名,已发布至公开平台(https://moss.fastnlp.top/),邀请公众参与内测。
IT之家查看 MOSS 的 GitHub 页面发现,该项目所含代码采用 Apache 2.0 协议,数据采用 CC BY-NC 4.0 协议,模型权重采用 GNU AGPL 3.0 协议。如需将该项目所含模型用于商业用途或公开部署,需要签署文件并发送至 robot@fudan.edu.cn 取得授权,商用情况仅用于记录,不会收取任何费用。
MOSS 用例: ▲ 解方程▲ 生成图片▲ 无害性测试模型🌟【Moss-Moon-003基座】🚀 – 高端模型大揭秘!💡基于丰富且纯净的中英文语料库,MOSS-003基座模型经历了深度的自监督训练,确保了卓越的语言理解和生成能力。📊 700亿单词的海量数据沉淀,背后是6.67万亿次计算精度的精准锤炼!这款技术巨头的瑰宝,不仅在规模上独步江湖,更在细节中彰显匠心。🚀 计算量惊人的它,每一项操作都精确到极致,为你的文字创作提供无与伦比的力量。💪欲体验超凡性能?无需透露个人信息,立即探索Moss-Moon-003基座的无限可能!🌍 SEO优化已到位,让搜索引擎为你找到这篇知识宝藏。🔍#MOSS-003 #自监督训练 #语言模型大师
moss-moon-003-sft: 基座模型在约 110 万多轮对话数据上微调得到,具有指令遵循能力、多轮对话能力、规避有害请求能力。
🌟🚀Moss-Moon-003-SFT-Plugin: Unleash Enhanced Conversational Power 🚀💰 Crafted with refined sophistication, the基座模型 undergoes meticulous fine-tuning on a staggering 1.1 million+ dialogue interactions and an impressive 300k+ plugin upgrades. This advanced foundation boasts a versatile arsenal, empowering users with seamless integration of search engines, text-to-image conversions, calculators, and equation-solving capabilities. Experience the future of conversational AI today! 🚀💻
🚀🚀🚀 预计不久后,基于”Moss-Moon-003-SFT”海量用户反馈数据打造的个性化偏好模型将向全球开放!🚀🚀🚀这款经过深度学习优化的工具,将充分利用大数据的力量,为用户提供精准且个性化的服务。我们期待它能像月球一样引领新的趋势,让科技与用户体验无缝对接。👩💻👨💻欲了解更多详情,敬请关注后续公告,我们将确保所有信息的透明度和安全性。🚀SEO友好的关键词:Moss-Moon-003、偏好模型、开源、用户反馈、深度学习、大数据、个性化服务。记得用它们来提升搜索引擎可见性哦!💪
🚀🚀【Moss-Moon-003】秘密武器公开!🚀🚀🔥基于超强基石”Moss-Moon-003-SFT”,我们精心打造了专为真相与安全保驾护航的终极模型——Moss-Moon-003-PM。这可不是一般的AI,它通过深度学习的力量,实现了事实准确、安全可靠且回复质量稳定的飞跃!🌟🔥好消息来了:近期,这款革命性的技术将毫无保留地向全球开放,让每个人都能体验到它的智慧与力量!👩💻👨💻别忘了,这不仅仅是一款工具,它是信任的象征,是知识的灯塔。我们期待你的加入,共同探索这个智能世界的无限可能!🌍✨
🚀🚀🚀 Moss-Moon-003 Plugin Upgrade Alert 🚀🚀🚀Introducing the game-changing upgrade to our Moss-Moon-003 SFT Plugin! 🤖✨ After rigorous training with the advanced preference model, Moss-Moon-003 PM, this final iteration promises superior intent recognition and plugin usability. Get ready for a seamless experience like never before!👀 Enhanced intelligence ensures your every command is understood precisely, streamlining your interactions with the plugin. 🚀🛠️ With improved plugin functionality, you can expect a more efficient workflow and hassle-free integration into your existing setup. Say goodbye to frustrating bugs and hello to smooth sailing! 💻🚀 And the best part? This cutting-edge model will soon be available for all to explore and contribute to, fostering a collaborative community of developers. 🤝Stay tuned for the open-source release, where you’ll witness the fusion of innovation and accessibility in action. Don’t miss out on this exciting evolution! 🔍#MossMoon003 #PluginUpgrade #OpenSourceFuture
数据🌟【揭秘】MOSS-002超实用对话大揭秘🔍——数据力扛旗!$moss-002-sft-data$集三大维度,诚意满满!📊这款AI语音交互的黄金宝藏——MOSS-002,以其海量多轮对话资料为核心,不仅深度挖掘了有效性、忠实性和无害性这三个关键领域,而且以惊人的57万条英文和59万条中文对话,展示了强大的语言处理实力。=text-davinci-003的智慧结晶,每一句话都蕴含着技术与人性的完美交融。无论是商务洽谈还是日常交流,这份数据都是你信赖的得力助手,助你跨越语言障碍,提升沟通效率。🎯SEO优化提示:多轮对话、text-davinci-003、57万英文/59万中文、有效性、忠实性、无害性、AI语音交互、黄金宝藏、语言处理实力、商务洽谈、日常交流、信任助手、沟通效率等关键词应适当融入。
moss-003-sft-data: moss-moon-003-sft 所使用的多轮对话数据,基于 MOSS-002 内测阶段采集的约 10 万用户输入数据和 gpt-3.5-turbo 构造而成,相比 moss-002-sft-data,moss-003-sft-data 更加符合真实用户意图分布,包含更细粒度的有用性类别标记、更广泛的无害性数据和更长对话轮数,约含 110 万条对话数据。目前仅开源少量示例数据,完整数据将在近期开源。
moss-003-sft-plugin-data: moss-moon-003-sft-plugin 所使用的插件增强的多轮对话数据,包含支持搜索引擎、文生图、计算器、解方程等四个插件在内的约 30 万条多轮对话数据。目前仅开源少量示例数据,完整数据将在近期开源。
moss-003-pm-data: moss-moon-003-pm 所使用的偏好数据,包含在约 18 万额外对话上下文数据及使用 moss-moon-003-sft 所产生的回复数据上构造得到的偏好对比数据,将在近期开源。
MOSS 的 GitHub 页面:点此查看
AI时代,拥有个人微信机器人AI助手!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!