文章主题:
IT之家 4 月 21 日消息,复旦大学自然语言处理实验室开发的新版 MOSS 模型今日正式上线,成为国内首个插件增强的开源对话语言模型。
目前,MOSS 模型已上线开源,相关代码、数据、模型参数已在 Github 和 Hugging Face 等平台开放,供科研人员下载。
据介绍,MOSS 是一个支持中英双语和多种插件的开源对话语言模型,moss-moon 系列模型具有 160 亿参数,在 FP16 精度下可在单张 A100 / A800 或两张 3090 显卡运行,在 INT4/8 精度下可在单张 3090 显卡运行。MOSS 基座语言模型在约七千亿中英文以及代码单词上预训练得到,后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。
MOSS 来自复旦大学自然语言处理实验室的邱锡鹏教授团队,名字与《流浪地球》电影中的 AI 同名,已发布至公开平台(https://moss.fastnlp.top/),邀请公众参与内测。
IT之家查看 MOSS 的 GitHub 页面发现,该项目所含代码采用 Apache 2.0 协议,数据采用 CC BY-NC 4.0 协议,模型权重采用 GNU AGPL 3.0 协议。如需将该项目所含模型用于商业用途或公开部署,需要签署文件并发送至 robot@fudan.edu.cn 取得授权,商用情况仅用于记录,不会收取任何费用。
MOSS 用例: ▲ 解方程▲ 生成图片▲ 无害性测试模型🌟【Moss-Moon-003基座】🚀 – 高端模型大揭秘!💡基于丰富且高质量的中英文语料库,MOSS-003基座模型经历了深度的自监督预训练,海量知识在无声中沉淀。📊 700亿单词的壮丽数据海洋,每一滴都蕴含着语言的智慧火花。这不仅仅是一个模型,它背后是数以6.67万亿计的计算循环,每一步都是对精准理解和表达的执着追求。💻 计算量如此庞大,只为打造最强大的语言处理能力。SEO优化提示:自监督训练、700B词汇、6.67×1022浮点运算欲了解更多细节或寻求专业服务,请访问我们的官方网站,让Moss-Moon-003基座引领你的知识探索之旅!🚀记得关注我们,获取更多AI领域的前沿资讯哦!👋
moss-moon-003-sft: 基座模型在约 110 万多轮对话数据上微调得到,具有指令遵循能力、多轮对话能力、规避有害请求能力。
🌟🚀Moss-Moon-003-SFT-Plugin: Unleash Enhanced Conversational Power 🚀💰 Crafted with refined sophistication, this plugin harnesses the might of over 1.1 million dialog exchanges and an impressive 300,000+ iterations to refine its foundation. It’s not just about talking; it’s a conversation game-changer, ready to integrate four powerful tools – search engine assistance, text-to-image conversion, calculator precision, and equation solver prowess.Experience seamless integration into your digital realm, where every interaction is optimized for efficiency and clarity. Upgrade your dialogue experience with Moss-Moon-003-SFT, the ultimate conversational partner that combines advanced technology and user-friendly convenience. 🤝💻欲了解更多关于如何提升对话质量和插件功能的深度优化,敬请探索我们的官方网站或联系我们的客服团队。让我们一起开启智能对话的新篇章!🌐💡
🚀🚀【最新科研成果】🚀🚀🚀揭示未来趋势!🚀基于”Moss-Moon-003-SFT”的独特洞察,我们即将推出一款颠覆性的偏好模型,引领行业新风尚!💡🔍🔍技术的力量,让数据说话!$moss-moon-003-pm$的深度学习之旅,已成功提炼出精准用户喜好,未来将慷慨分享给全球研究者。👩💻👨💻📢敬请期待!这款开源模型将于近期揭开神秘面纱,为学术界和实践者提供无价洞见,共同推动知识进步。📚🌐欲了解更多详情,敬请关注我们的官方平台,或直接搜索”Moss-Moon-003-Preference”关键词,让我们一起见证这一科技盛宴的诞生!🎉🎊
🚀🚀【Moss-Moon-003】秘密武器公开!🚀🚀🔥基于顶尖技术平台【Moss-Moon-003-SFT】,我们精心打造了专属于你的【Moss-Moon-003-PM】偏好模型,一场事实与安全的革命就此展开!🔥🔍经过深度训练和严谨验证,这个模型不仅保证信息准确无误,还以超乎想象的安全性守护每一份交流。🌍🛡️稳定的回复质量,无论何时何地,都能提供一致且专业的服务,让你的每一次互动都如丝般顺畅。🌐🎉好消息来了!这款革命性的工具即将全面开源,让科技的力量触手可及!🎉欲了解更多详情,敬请关注我们的最新动态,让我们一起迎接知识的新时代!💡记得,保护隐私,安全第一!🛡️
🚀🚀🚀 Moss-Moon-003 Plugin Upgrade Alert 🚀🚀🚀Introducing the game-changing upgrade to our beloved Moss-Moon-003 SFT Plugin! 🤖✨ After rigorous training with the advanced preference model, Moss-Moon-003 PM, this final iteration promises superior intent comprehension and plugin usability. Get ready for a seamless experience like never before!🚀 Exciting news: This cutting-edge technology is set to be open-sourced in the near future, allowing the community to harness its power and enhance their workflows. 🤝Don’t miss out on the opportunity to revolutionize your integration strategy with this next-generation plugin. Stay tuned for more details on how to get your hands on it! 🔔SEO optimized keywords: Moss-Moon-003 Plugin, upgrade, preference model, intent understanding, open-source, community, integration strategy, seamless experience, workflow enhancement.
数据🌟🚀Moss-002 Chat Data Unleashed: 🌟🚀Discover the ultimate in conversational prowess with Moss-002, a treasure trove of multi-turn dialogue data that spans the realms of usability, authenticity, and safety. Crafted by the masterful text-davinci-003, this dataset boasts an impressive 570,000+ English conversations and a equally captivating 590,000+ Chinese ones 🤝🌍.Unleash the power of AI-driven dialogue, perfect for enhancing your language models and understanding user needs. Dive deep into the depths of conversation quality, ensuring every interaction is both effective and trustworthy. 🔍💼欲了解更多关于Moss-002如何推动对话技术的革新,以及它如何在提升用户体验和数据安全中扮演关键角色,请访问我们的官方网站以获取详细信息。🏆🌐Remember, our expertise lies in transforming words into meaningful conversations that resonate with your audience. Let’s collaborate to create compelling dialogue experiences! 🤝💬
moss-003-sft-data: moss-moon-003-sft 所使用的多轮对话数据,基于 MOSS-002 内测阶段采集的约 10 万用户输入数据和 gpt-3.5-turbo 构造而成,相比 moss-002-sft-data,moss-003-sft-data 更加符合真实用户意图分布,包含更细粒度的有用性类别标记、更广泛的无害性数据和更长对话轮数,约含 110 万条对话数据。目前仅开源少量示例数据,完整数据将在近期开源。
moss-003-sft-plugin-data: moss-moon-003-sft-plugin 所使用的插件增强的多轮对话数据,包含支持搜索引擎、文生图、计算器、解方程等四个插件在内的约 30 万条多轮对话数据。目前仅开源少量示例数据,完整数据将在近期开源。
moss-003-pm-data: moss-moon-003-pm 所使用的偏好数据,包含在约 18 万额外对话上下文数据及使用 moss-moon-003-sft 所产生的回复数据上构造得到的偏好对比数据,将在近期开源。
MOSS 的 GitHub 页面:点此查看
AI时代,拥有个人微信机器人AI助手!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!