文章主题：人工智能, 自然语言处理, 深度学习, 语言模型
21世纪经济报道记者董静怡 上海报道
ChatGPT 的卓越对话理解和表达能力令人叹为观止，这使得越来越多的人认识到人工智能已迈入一个崭新的阶段。它有可能成为一个关键的基础架构系统，以前所未有的速度渗透到各行各业，推动未来世界的数字经济蓬勃发展。
最近，复旦大学计算机科学技术学院的邱锡鹏教授在接受21世纪经济报道的采访时，深入剖析了ChatGPT的颠覆性力量，强调了其在大模型训练过程中的“涌现能力”。据他介绍，当大模型经过初步的训练，计算量达到大约10的22次方之后，模型的能力将实现由量变到质变的跨越，展现出令人瞩目的爆发式增长。这种 unexpected的能力表现，正是ChatGPT革命性的关键所在。
在阅读的过程中，我们可能会发现一些有趣的现象。比如，当我们阅读两本书时，我们可以轻松地记住其中的内容；然而，当我们的阅读量增加到1万本时，我们开始对这些知识有了更深的理解；而当我们的阅读量达到1亿本时，我们似乎能够将所学知识融会贯通，从而更好地把握世界的规律。这就是邱锡鹏所描述的学习过程。尽管这个过程对于个人来说具有很大的价值，但大模型的智能突破仍然是一个尚未解决的问题。
“涌现”现象的出现似乎表明，扩大模型的规模是一种可行的策略，从而赋予其”智能”。在AI围棋战胜人类棋手的时刻，BERT模型的参数规模仅为3亿；然而自2020年以来，GPT-3的问世使得模型的参数量级提升至了1750亿。这无疑为我们提供了一个重要的线索，那就是随着模型规模的不断扩大，它们所具备的智能程度也在不断提升。
在能力涌现的背后，实际上隐藏着三种关键性的技术，它们分别是情境学习、思维链和指令学习。这些技术不仅是 ChatGPT 在人工智能领域中崭露头角的重要因素，同时也是未来人工智能发展的关键方向。
深度学习对传统的机器学习模式产生了显著影响。只需通过精心构建的提示语句（Prompt）来详细描述任务，并结合一些情境示例，模型就能参照这些例子来执行特定的任务。
思维链赋予模型推理能力，使其能够应对原本无法解决的一系列复杂问题。将这些问题拆解为诸多简单环节，并通过逐个攻克这些简单问题，最终实现复杂问题的化解。在这个过程中，思维链发挥着至关重要的作用。
通过指令学习，模型能够理解和执行各类自然语言指令，将任务转化为机器可以理解的格式。对于人类来说，只需在少数任务上进行指令化操作，大约经过40个任务的指令化训练后，对模型进行适当的微调，就能够使其泛化到数百甚至数千种任务，即使这些任务从未出现在模型面前。
在模型优化过程中，人的参与意义非常重要，使得机器在迭代中始终保持和人类的价值观、思维方式对齐，也避免了机器自己迭代起来有可能会离人类的偏好和初衷越来越远。
放眼国内，大模型的竞争也愈发激烈。2月20日，复旦大学自然语言处理实验室发布了国内首个类chatgpt模型MOSS，3月16日，百度发布“文心一言”，打响大厂入局的第一枪，此后，阿里云、商汤科技均公布了自家的大模型产品，国内大模型的百团大战一触即发。
但这些产品较ChatGPT来说，还存在一定差距，邱锡鹏也承认，目前MOSS的任务完成度却并不高，主要原因在于MOSS在部署和训练上投入的资本还非常有限，相较于千亿级的ChatGPT，大概只是其规模的十分之一。“我们现在仍旧在加紧迭代MOSS，预计将于4月中旬开源。”
邱锡鹏表示，尽管目前的通用人工智能技术尚且存在很多不足，包括随机性、不可控、容易“一本正经地胡说八道”等等，但随着时间的推移，这些问题都将在未来通过各种方式逐步改进。
正如图灵奖得主、著名人工智能专家杨立昆（Yann LeCun）所言：下一代模型应该更加具有事实性、无害性、即时性，并且能够灵活使用计算器、数据库、搜索引擎、模拟器等各种辅助工具，而这也是人们亟需重点解决的时代课题。
《21世纪》：我们如何复现ChatGPT这一大型语言模型？面临哪些挑战？
邱锡鹏：第一步需要先实现语言模型基座，第二步是指令微调，第三步是能力不断强化迭代。虽然这些关键步骤以及大概方法已经十分明朗，但每一步的细节都需要我们自己去一一摸索，还是充满着各种未知的挑战性。
第一步主要是Transformer架构上进行模块优化。首先，对于ChatGPT来说，它并没有特别关注中文，很多时候只是直接把中文按照英文的方式进行编码，我们作为中国人自然是希望对中文进行优化，就需要重新实现更好的中文编码，并想办法把中文和英文打通；此外，将来如果接入多模态的话，编码问题同样会带来架构设计以及训练稳定性等诸多问题与麻烦。
第二步是指令微调，个人认为指令微调的难度甚至比预训练更高。在预训练阶段，大家可以利用一些大公司成熟的预训练模型，在短时间内取得不错的训练效果；但是指令微调则非常难以立马做到，这一点上和OpenAI之间存在着非常明显的差距。
在与人类对齐方面，想要让模型的回答尽可能符合我们人类的思维习惯，也很难做到。而且考虑到OpenAI暂不开源，我们只能够一步步慢慢向前探索。如果我们要想超过ChatGPT，肯定就得去找到一条比它更好的实现路径，而这个过程无疑充满艰险。
《21世纪》：如何看待国内AI生态？
邱锡鹏：我们的生态还没有建好。OpenAI做ChatGPT的时候，它不需要分心做其他东西，只是把模型做好。微软帮它做算力，还有其它公司帮它做部署，数据也有专门的公司来进行数据清洗。它是在整个生态中去做的，这样的多方协作生态促使它的发展非常快。
而我们国内每家公司都要做，这就会产生一个问题，每家都做自己的，但每家数据、算力也有限，也没有多少钱可以支持研发，并且又在做一些很基础的、重复性的事情。而我们希望能促进大模型的协作生态，在MOSS开源之后，底层的重复性的工作就不要做了，把整个生态建起来。
如果我们有一个统一的大模型平台和基座，下面对接一下国产的算力，做好一份接口，大家都可以来用，能够去促进一个生态链的建设，使得整个中国的AI能够往前进一步发展。我们现在仍旧在加紧迭代MOSS，预计将于4月中旬开源。
《21世纪》：3月22日，美国的生命未来研究所向全社会发了一封公开信，呼吁所有的人工智能实验室暂停研制比GPT-4更强大的AI系统的训练，暂停的时间是6个月，如何看待这件事？
邱锡鹏：机器的迭代速度会快于人，在某一天总会超过人的，停止这六个月或者半年没有意义。并且很多时候也很难停下来，从很多公司的商业利益出发肯定会迭代的。我们目前为止的AI还是可控的，它目前的形式还是在语言层面的，没有接入到社会的方方面面。有一天当它接管了很多东西，成为了我们的某种基础设施之后，这就非常关键了，你要控制它各种能力，这时避免危害不光要靠技术，还要靠一些法律法规。
《21世纪》：类ChatGPT的AI将如何对未来社会形成颠覆性影响？
邱锡鹏：考虑到ChatGPT已拥有通用语言理解的能力，并可以进一步增加对外接口，成为通用人工智能的技术基座。这也就意味着通用人工智能的加速实现对于现阶段的人类来说已经不是梦想。甚至乐观一点说，像科幻片里面的人工智能形象可能很快就会在我们的生活中出现。
以ChatGPT为代表的通用人工智能技术，可以引爆数字经济，充分发挥数据和算力效能，并催生出海量的新商业模式；可以赋能产业数字化，并通过人机协同的方式解决行业专家资源不足的问题；可以以数字人、个人助理、搜索引擎等形式对数字经济新业态、新模式提供发展动能；更将深刻改变教育、社会治理、司法等领域的生态，大幅提升行业水平。
当然，我们也必须正视，目前的通用人工智能技术尚且存在很多不足，包括随机性、不可控、容易“一本正经地胡说八道”等等，不过，相信这些问题随着时间的推移，都将在未来通过各种方式逐步得到改进。
对于下一阶段的大型语言模型来讲，我们目前重点需要去做的事情就是让模型和现实世界以及人类的价值观进行“对齐”，成为一个真正的智能体，具有自身学习、跨模态学习、知识和工具利用等能力。与此同时，AI与人类价值观“对齐”也同样不可忽视，毕竟如果AI的价值观和人的价值观背道而驰，那将会是非常危险的。
《21世纪》：AI未来的发展方向是如何的？
邱锡鹏：以前一直做的人工智能模型都是弱人工智能模型，比如AlphaGo只能下围棋。目前ChatGPT的表现类似于通才，但是它可能在细分的专业性上和行业中比较顶级的专家还有很大的差距。我认为它将来会有不同的分支，往不同的专业方向上发展，以大模型为基础，产生很多的分领域的不同模型。这对于之前的人工智能研究来说应该都是一个大的颠覆。
《21世纪》：中国如何在这场科技浪潮中抓住机会？
邱锡鹏：我是比较乐观的。我们的AI以场景的丰富度或者应用层面的创新性领先，在AIGC或者大模型浪潮中，应用驱动也是很重要的。有了底座之后，我们再去把AI产品打磨好，这些应用场景的数据在我们国内是非常丰富的。
更多内容请下载21财经APP
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
