文章主题:复旦大学, MOSS, 开源上线, 对话大语言模型
复旦MOSS升级版开源上线,国内首个插件增强的开源对话大语言模型
出品 | OSC开源社区(ID:oschina2013)
复旦大学自然语言处理实验室开发的新版 MOSS 模型今日正式上线,成为国内首个插件增强的开源对话大语言模型。MOSS 相关代码、数据、模型参数已在 GitHub 和 Hugging Face 等平台开放,供科研人员下载。
体验地址:https://moss.fastnlp.top/
从官方的介绍来看,MOSS 对硬件要求较高,本地部署的话需要非常大的开销,A100 或 A800 可以单卡运行,NVIDIA 3090 只能并行多卡运行,GPU 要至少 30GB。
MOSS 是一款具有强大功能的开源对话语言模型,其支持中英文双语以及丰富的插件扩展。MOSS-Moon系列模型的参数规模更是达到了惊人的160亿,这使得它能够在各种场景下展现出卓越的性能。值得一提的是,该系列模型在FP16混合精度下能够实现高效的运行,甚至只需要一张A100/A800显卡或者两张3090显卡就能在单张3090显卡的环境下运行。这无疑是一种巨大的突破,也是对我国人工智能技术的一种肯定。
MOSS基座语言模型在大量的中英文以及代号词汇上进行了预习练习,并且在此基础上,通过对话引导进行了微调,以提升男同学们的训练效果。此外,该模型还接受了多轮对话能力的培训,并掌握了多种插件的使用方法,从而进一步提升其表现。
由于MOSS模型的参数量相对有限,以及采用自回归生成范式,因此它可能会生成包含事实性错误、具有误导性或带有偏见和歧视的有害内容。为此,我们建议用户在处理MOSS生成的内容时要特别谨慎,以防误用这些有害内容。同时,用户也需要自行承担因误传这些内容而产生的不良后果。
MOSS 用例
解方程
生成图像
无害性
使用示例
以下是一个简单的调用 moss-moon-003-sft生成对话的示例代码:
AI时代,拥有个人微信机器人AI助手!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!