文章主题：MOSS, ChatGPT, 数据质量
🎉🚀 MOSS, the first domestically developed language model similar to ChatGPT, was released by Professor邱锡鹏’s team from Fudan University on February 20th. The excitement among various sectors has been immense as people eagerly participate in the internal testing phase. One of the most notable feedbacks is that MOSS’ English responses are higher than its Chinese counterparts, which echoes similar observations when interacting with ChatGPT in public. 🤔🤔🤔Why is this so?
“在位于深圳的粤港澳大湾区数字经济研究院（IDEA）认知计算与自然语言中心，文本生成算法团队负责人王昊表示，数据质量是主要瓶颈之一。相较于英文数据，中文数据的开源程度较低，导致中文数据集的规模相对较小。此外，英文作为科研主流语言，在学术界和工业界中得到广泛应用，积累了大量高质量的语料数据，这为英文自然语言处理的研究提供了极大的优势。”
MOSS团队承认，尽管他们的英文回答水平高于中文，但这是因为他们的模型基于3000多亿个英文单词。相比之下，中文词汇的学习量只有大约300亿个。
🎉中文自然语言处理领域需要更多投入和努力来积累高质量的数据！
黄民烈教授曾制定全球首个《AI对话系统分级定义》，他表示：“中国的科技企业目前在数据和应用方面具有明显优势。从数据角度看，国内确实拥有大量数据，而这些数据的准确性和可靠性如果能进一步提升，将对模型的学习和生成产生积极影响。”
“在国内，应用场景和市场是更为广阔的存在。在新闻、广告、教育等领域，应用市场的广泛程度会带来更多的优质数据，这将有助于推动AIGC领域的快速发展。”
2月20日晚，MOSS发布至公开平台（https://moss.fastnlp.top/），邀公众参与内测。当晚，社交媒体上出现截图，显示该平台“服务器流量过载，请明天上午重试”。随后，该平台官网发布一则公告，解释称“计算资源不足以支持如此大的访问量”，“给大家造成非常不好的体验和第一印象”，并致以真诚的歉意。
复旦MOSS团队回应体验“非常不好”：距离ChatGPT还有很长的路。
在公告中，MOSS研究团队称，“MOSS只是想在百亿规模参数上探索和验证ChatGPT的技术路线，并且实现各种对话能力。”
那么AI对话技术发展到今天经过了哪些关键节点，当下的“技术路线”又是什么？
黄民烈解答道，回顾早期聊天机器人的对话，大部分都是基于规则的，第二代在技术上混合了一些规则和机器学习的方法。到了第三代，就是以Transformer为基本架构的大模型作为技术底座，实际上还是在一个新的神经网络架构下，结合大量的数据和算力优化去做到的，所以技术上有了显著的一些进步。由于对话本身就是在语言处理中最重要也是最难的任务，也就是最近一两年，才因为大模型的发展使得聊天机器人在性能上有接近人类的表现。
复旦大学计算机科学技术学院教授邱锡鹏此前在接受澎湃新闻采访时表示，“GPT-3的In-context learning是一个我觉得有变革性的范式。不再需要调参，给一些提示，就可以去做任务了。这个目前虽然说质量并没有调参的好，但也能达到一个不错的效果，这个会让大模型看起来更加智能。”
什么是In-context learning（上下文学习）？“以前的方式是基于模型参数调整的，比如说要识别猫，然后看模型能不能检测到猫的位置。如果标的不对，再通过误差反过来去调整参数，使得预测和正确位置对应起来。上下文学习则是圈出来猫的位置，然后再给它一张另外的图片，问它猫在哪里？它就能够正确圈出来。这个任务它之前没有见过，但是通过这样的方式就学会了。”邱锡鹏讲解道。
调参极耗费人力和时间成本，尤其是GPT-3这样的超大模型。碳同化系统Carbontracker估计，训练GPT-3一次所需的电量与丹麦126户家庭每年使用的电量相同。而In-context learning可以让一个未经进一步调参的预训练大模型，通过给其恰当的demonstration（示例）学会完成目标任务。
黄民烈也提到上下文理解技术。“ChatGPT最大的特点是通用任务助理，也就是在一个模型之内可以完成如此之多的开放任务，同时它在生成任务、上下文理解、安全伦理方面也有相当好的表现。”总结而言，黄民烈认为，这里面的技术突破是一个技术、工程、数据的综合性工程创新，是一个长期积累从量变到质变的过程。比如从GPT-3到代码，到加instruct，到RL，以及数据和模型之间的飞轮，造成了这些质变。
AI时代，掌握AI大模型第一手资讯！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
扫码右边公众号，驾驭AI生产力！
