文章主题:复旦大学, 自然语言处理, MOSS 模型, 开源对话语言模型
在4月21日这个特殊的日子里,复旦大学自然语言处理实验室历经匠心打造,终于迎来了新版MOSS模型的正式亮相。这款全新的开源对话语言模型,凭借其插件增强的功能,成为了我国首个引领时代的对话语言模型。
MOSS是一款具有强大功能的支持中英双语对话语言模型,其基础模型系列——moss-moon拥有超过1600亿参数,能够在单张A100/A800或两张3090显卡的环境下以FP16精度运行。而在INT4/8精度下,它甚至只需要单张3090显卡就能正常运行。此外,MOSS的基座语言模型是在大约7万亿个中英文以及代码单词上进行预训练的,这使得它在后续的对话指令微调、插件增强学习以及人类偏好训练过程中,能够具备多轮对话的能力,并且可以灵活运用各种插件。
MOSS 模型现已正式上线并开源,其相关代码、数据以及模型参数已在 Github 和 Hugging Face 等平台上公开发布,以便于科研工作者们自由获取和使用。
MOSS, an AI developed by Professor Qiu Xipeng’s team from the Natural Language Processing Laboratory of Fudan University, has been released to the public platform (https://moss.fastnlp.top/) and is inviting the public to participate in the internal testing. This AI has gained attention due to its similarities with the AI character in the movie “The Wandering Earth”.
AI时代,拥有个人微信机器人AI助手!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!