文章主题:人工智能, 自然语言处理, 生成式对话, 文心一言
在3月16日这个特殊的日子里,百度文心一言如约而至,让无数人工智能爱好者备受期待的心情得以满足。作为我国人工智能领域的重要突破之一,它标志着我国在智能对话系统领域的发展迈出了重要的一步。距离ChatGPT发布的三个月时间,百度文心一言成为了国内首款可以与之抗衡的产品,这无疑是对我国人工智能技术的一次巨大鼓舞。
“文心一言”,这是基于我国人工智能领域的领军企业——百度集团旗下文心大模型所推出的一款生成式对话产品。自今年2月有关该项目的消息曝光以来,便引发了业界的高度关注。在百度集团的内部管理层中,该项目也成为了过去两个月内优先级最高的项目,并得到了CTO王海峰博士的亲自指导与负责。
在现场活动中,李彦宏展示了文心一言在不同应用场景中的表现力和实用性。从文学创作到商业文案撰写,再到数理逻辑推算以及中文语境下的典故解读,文心一言都能迅速且准确地生成适合的内容。这一功能在多模态信息生成方面也表现得相当出色,充分体现了人工智能助手在各个领域的强大能力。
对于当前文心一言的性能,李彦宏明确表示,大型语言模型的门槛相当高,目前的表现在一定程度上尚不完善,但他对此并不气馁,因为文心一言将会持续进行训练以不断提升其性能。一旦能够获得真实的人类反馈,文心一言的进步速度将会显著加快,为了能够更好地服务于用户和客户,大家都期待着它能尽早成长为一个具有真正价值的工具。
在考虑到这种因素的基础上,百度公司选择以“文心一言邀请测试会”这一名称来推广活动,而非直接使用“发布”或“推出”等词汇。通过这种方式,百度旨在降低活动的曝光度,以便更好地关注技术细节和创新性。在得到内测码后,极客公园进行了古文理解能力的测试,并与其他人工智能助手ChatGPT进行了同一课题的对比。从测试结果来看,它在古文理解方面表现得更为优秀。
人工智能的浪潮方兴未艾,大型模型并非这场游戏的终点,而仅仅是其中的一张牌。百度选择在此时发布,或许是因为相较于一款完美的产品,更重要的是搭建一个平台,让我国的玩家们能够参与到这场游戏中来。
01 写诗,做视频,算鸡兔同笼
在会议上,李彦宏明确指出「文心一言」所针对的竞争对手并非一般的人工智能助手,而是目前最为先进的自然语言处理技术——ChatGPT(也就是GPT-3.5)以及最新发布的GPT-4。这表明,为了在开放域的多轮对话场景中脱颖而出,我们的「文心一言」必须具备诸如内容创作、知识问答、数学计算以及编程编码等多方面的能力。同时,参照GPT-4的性能,「文心一言」还需要在处理图片、文字等多种信息维度上展现出卓越的应对能力。
李彦宏展示了在文学创作、商业文案撰写、数理逻辑推导、以及中文语境下的典故解读等多样化场景中的实际应用。
在文学创作场景中,文心一言根据对话问题将知名科幻小说《三体》的核心内容进行了总结,并提出了五个续写《三体》的建议角度。
在商业文案创作场景中,在「建立一个大模型为中小企业数字化升级的科技服务公司」设定下,文心一言完成了给公司起名、写 Slogan、写新闻稿的创作任务。
在数学计算上,文心一言解答了经典的「鸡兔同笼」问题。
此外,为了展示文心一言对中文语言的更强理解能力,李彦宏根据「洛阳纸贵」这一典故进行连续追问:洛阳纸贵是什么意思?当时洛阳纸多贵;在经济学原理中;对应的理论是什么;写一首藏头诗。
在多模态的能力上,李彦宏请文心一言创作「世界智能交通大会」的海报,并让模型用四川方言回答「智能交通最适合哪个城市发展」,并将以上内容再转化为视频。
信息的多模态转换并非百度的新技术,此前在百家号中,根据文章生成短视频即来源于此。李彦宏表示,「生成视频因为成本比较高,还没有对所有用户开放,未来我们会逐步接入。」
李彦宏表示,文心一言针对中文理解,表现出更优秀的能力。不过相对于英文、代码场景的训练还是不够好,接下来会继续完善相关能力。
极客公园拿到内测码,和 ChatGPT(GPT3.5 版本)对比了一下古文理解能力。文心一言回答对了《项脊轩志》最后一句话的含义、出处、及作者。而 ChatGPT 只回答对了句意。
总体而言,今天的发布会更像宣布了一个时间点,作为中国市场类 ChatGPT 产品空白的填充。而接下来,基于真实用户的数据反馈,模型将持续进行迭代。
02 大模型时代,AI 技术栈变化
在上一轮深度学习热潮中,百度开始了对AI的技术投入,至今已经 12 年。近十年,百度累计投入超过 1000 亿元的研发开支,核心研发投入占核心收入比例连续 8 个季度超过 20%。在全栈能力积累至今,是百度能够在短短几个月的时间内集中攻关,将文心一言完善到可以邀请外界测试的基础。
7 年前,当 Alpha Go 战胜李世石,产业内外共同意识到了深度神经网络展示其强大威力。如今,发布于 2017 年的 Transformer 被认为是比卷积神经网络更有延展性的架构。
基于此架构,AI 从原来的识别模式发展到生成模式。形象而言,如果大模型是房屋,那么 Transformer 便是搭建房屋的「砖头」。
然而,训练作为系统工程的大模型,远远比「搭建房屋」要复杂得多,不少有过训练模型经验的从业者,更喜欢用「造火箭」来形容。因此,真正要实现模型的训练、数据闭环、持续迭代,需要全面技术能力和基础设施支持。
在 ChatGPT 出现后,随着微软、谷歌进入视野,首先人们意识到牌桌上巨头的身影,以搜索业务起家的百度,也顺理成章成为视野内可见的第三位巨头玩家。
不过,可能很少有人知道,2012 年百度就曾和微软、谷歌坐在同一张拍卖桌上。那时候,图灵奖得主、深度学习三巨头之一的 Geoffrey Hinton 和 Open AI 总裁 Brockman 拍卖共同创立的技术公司,当初四家竞标企业之中的唯一中国身影,便是百度(另外三家分别是谷歌、微软与 DeepMind)。
2013 年,百度建立了深度研究院(IDL),随之在AI领域,开始了从芯片、框架、模型算法、到应用全面能力的布局。
在算力上,百度 2012 年即投建了阳泉计算中心。2022 年,正式升级为「智算中心」。此次,阳泉智算中心也专门搭建了一个机房支持「文心一言」训练。该中心最高支持每秒 400 亿亿次浮点运算。当模型投入使用之后,这里将与江苏盐城等地的其他几座智算中心一起支持大模型的运算。
文心一言的模型演进始于 2019 年的 ERNIE 1.0,此后,百度不断发布新模型。2021 年,发布了百亿参数中英双语的对话大模型 PLATO-X,以及知识增强大模型 ERNIE 3.0。
CTO 王海峰表示,文心一言是在 ERNIE 及 PLATO 系列模型的基础上研发的。「文心」系列模型是百度持续研发的一系列模型,而「文心一言」则是最新研发,基于对话场景下的通用模型。
CTO 王海峰介绍「文心一言」相关技术|来源:百度
文心模型也一直在服务百度的产品。在模型的能力的加持下,百度搜索的问题分类准确率提升 4.5%,新闻去重召回率提升 8%,视频推荐召回率提升 10%,小度的意图理解准确率提升了 3.1%。
王海峰介绍,在文心一言的研发过程中,深度学习框架所提供的支持也颇为关键。「飞桨有效支撑了大模型的灵活开发、高效训练和推理部署。」飞桨平台,也是百度 AI 技术成果的重要部分。目前,飞桨是除了国际两大主流框架 TensorFlow 和 PyTorch 之外,国内影响最大的深度学习框架,平台上开发者数量已经达到 535 万,创建 AI 模型超过 67 万个。
生成式 AI 让市场的需求爆发式增长,意味着除了底层模型的开发人员之外,需要更多开发者加入,进行不同环节、不同层面的开发工作。这也意味着基于大模型,会形成新的技术栈。
提到基于模型开发 AI 应用,李彦宏表示「文心一言让每一家公司离客户更近,利用新的能力,做出更好的客户体验」。服务客户,首先需要服务开发者。当学习框架与底层模型的训练适配,无疑能为更多开发者基于通用模型继续开发应用,提供更友好的环境。
03 李彦宏:大模型带来三大产业机会,「模型即服务」是未来的云
演讲中李彦宏坦言,目前文心一言的效果尚不完美。王海峰也表示,在对大模型的最终训练环节中,在人类反馈的强化学习(RLHF)上做的还不够充分。
但大模型的市场需求日益增长,国内大模型的空白急需填补,这是百度选择在今天发布的原因之一。邀请测试会的最后一个环节,百度正式宣布了向 C 端和 B 端开放测试。首批用户采用邀请制,可以通过邀请码在「文心一言」官网进行产品体验 ;面对企业用户,百度智能云开放 API 接口调用。
李彦宏还透露,近期,百度智能云将召开发布会。届时,将围绕文心一言的云服务和应用产品做介绍。接入了大模型的智能,既能够提供公有云服务,也可以做私有化部署。
而在上个月的 Q4 财报电话会上,他便强调了大模型对于云服务的加持。「之前选择云厂商更多看算力、存储等基础云服务。未来,更多会看框架好不好、模型好不好,以及模型、框架、芯片、应用之间的协同。这会根本性地改变云计算市场的游戏规则。」
李彦宏介绍「文心一言」|来源:百度
这也是百度智能云的新机会。在文心一言发布会上,李彦宏提出,大模型将会带来新型的云计算。主流商业模式从将从 IaaS 变为 MaaS。所谓 Maas,是「模型即服务」。依托云设施,模型将其推理能力快速接入软件公司,后者能够做出更新的产品体验。
传闻中投资 OpenAI 百亿美金的微软,也在做相同的布局。目前,GPT-4 的模型能力也已经集成在微软 Azure 中,并通过云服务的方式向外提供服务,即为 Azure OpenAI 产品。微软还表示,为了能够支持大模型的持续升级,针对大语言模型培训,专门优化了 Azure 的基础设施。
李彦宏认为,大模型将为 AI 产业带来三大机会,云服务是其中之一,另外两个分别是「行业模型精调」、「基于大模型底座进行应用开发」。
前者服务的是企业客户,应用行业 Knowhow,提供垂直领域解决方案;后者直接面向普通用户开发产品,在文本生成、图像生成、音频生成、视频生成、数字人、3D 等场景,今天已经涌现出很多创业明星公司,他们可能就是未来的新巨头。
值得注意的是,要实现模型能力的大规模发放,还需要解决部署端的快速调用问题。目前出现「智能涌现」的大模型,参数达到了一定量级之后,在多种任务的能力上,都具备了小模型所不具备的能力水平。并且这种表现是「突然出现」的。这使得在模型的综合表现令人惊喜,也成为 ChatGPT 已经具备了产品属性的原因。
当人们使用模型回答问题、整合信息,或者创作能力生成文本草稿时,便是在调用模型的实时计算推理能力。这与训练模型所需求的数据训练、参数调优等能力相比,需要的是基础设施支持上的软硬件协同效率、服务稳定性的能力。
如何实现灵活地调用模型能力,也将是构建商业模式的关键。这里面可能涉及到很多具体挑战,比如对于数据隐私要求极高的医疗、金融等行业,不适合将数据直接接入大模型。而领域的专业性要求,又需要基于通用能力,基于专业数据进行精调。
大模型的训练成本极高。将大模型微调后,服务于相关企业,如何既保留大模型的能力,又节约算力成本,并实现本地化部署、迭代,将是未来服务行业需要解决的问题。
目前,百度积累了芯片、框架、模型、应用的四层技术架构。李彦宏表示,「在全球范围内,在四层架构的每一层都有领先产品的公司几乎没有,百度的优势非常独特,相信大家会在后续文心的迭代速度上有明显感受。」
文心一言的测试开始,也意味着数据飞轮即将启动。随着真实用户反馈的建立,在 AI 上积累了十多年,百度的机会刚刚开始。
人工智能, 自然语言处理, 生成式对话, 文心一言
AI时代,拥有个人微信机器人AI助手!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!