文章主题:人工智能, 自然语言处理, 生成式对话, 文心一言
期待已久的百度文心一言终于在3月16日如约亮相。作为我国人工智能领域的重要突破,它标志着我国在智能对话产品领域的发展迈出了坚实的一步。距离ChatGPT发布的三个月时间,百度文心一言成为了国内首款能与之抗衡的产品,这无疑是对我国人工智能技术的一次巨大鼓舞。
“文心一言”,这是基于我国人工智能领域的领军企业——百度集团旗下文心大模型所推出的一款生成式对话产品。自今年2月有关该项目的消息曝光以来,便引发了业界的高度关注。在百度集团的内部管理层中,该项目也被视为过去两个月内最为重要且优先级最高的项目,并得到了CTO王海峰博士的亲自指导与推动。”
在现场活动中,李彦宏展示了文心一言在不同应用场景中的表现力。从文学创作到商业文案撰写,再到数理逻辑推算以及中文语境下的典故解读,文心一言都能迅速找到合适的表达方式。此外,在多模态信息生成方面,文心一言同样展现出强大的能力,无论面对何种主题和形式,都能轻松应对。
对于当前文心一言的性能,李彦宏明确表示,大型语言模型的门槛相当高,目前的表现尚不完美,将会持续训练以实现优化。一旦获得真实的人类反馈,文心一言的进步将迅速显现,我们期待它尽早成长为能够为用户和客户创造价值的强大工具。
在考虑到这种因素的基础上,百度公司选择了一种谨慎的宣传策略,没有使用诸如“发布”或“推出”等词汇,而是将此次活动称为“文心一言邀请测试会”。一旦极客公园获得了内测代码,他们便对其古文理解能力进行了测试,并将其与ChatGPT的同题进行对比。从测试结果来看,它在古文理解方面表现得更为优秀。
人工智能的浪潮方兴未艾,大模型的地位并非最终胜者,它们仅是这场游戏的起手牌。我国百度公司在这一时刻推出,或许正是出于相较于完美产品的考虑,我们认为,当前最重要的任务是搭建一个平台,让我国的玩家们能够参与到这场游戏中来。
01 写诗,做视频,算鸡兔同笼
会上,李彦宏表示「文心一言」对标的是 ChatGPT(亦即 GPT-3.5),甚至最新发布的 GPT-4。这意味着,文心一言需要在开放域多轮对话的场景下,具有内容创作、知识问答、数学计算、写作代码等不同能力。对标 GPT-4 则又增加了处理图片、文字等不同维度信息的能力。
李彦宏演示了文学创作、商业文案创作、数理逻辑推算、中文语境下典故理解、多模态信息生成等不同场景下的实例。
在文学创作场景中,文心一言根据对话问题将知名科幻小说《三体》的核心内容进行了总结,并提出了五个续写《三体》的建议角度。
在商业文案创作场景中,在「建立一个大模型为中小企业数字化升级的科技服务公司」设定下,文心一言完成了给公司起名、写 Slogan、写新闻稿的创作任务。
在数学计算上,文心一言解答了经典的「鸡兔同笼」问题。
此外,为了展示文心一言对中文语言的更强理解能力,李彦宏根据「洛阳纸贵」这一典故进行连续追问:洛阳纸贵是什么意思?当时洛阳纸多贵;在经济学原理中;对应的理论是什么;写一首藏头诗。
在多模态的能力上,李彦宏请文心一言创作「世界智能交通大会」的海报,并让模型用四川方言回答「智能交通最适合哪个城市发展」,并将以上内容再转化为视频。
信息的多模态转换并非百度的新技术,此前在百家号中,根据文章生成短视频即来源于此。李彦宏表示,「生成视频因为成本比较高,还没有对所有用户开放,未来我们会逐步接入。」
李彦宏表示,文心一言针对中文理解,表现出更优秀的能力。不过相对于英文、代码场景的训练还是不够好,接下来会继续完善相关能力。
极客公园拿到内测码,和 ChatGPT(GPT3.5 版本)对比了一下古文理解能力。文心一言回答对了《项脊轩志》最后一句话的含义、出处、及作者。而 ChatGPT 只回答对了句意。
总体而言,今天的发布会更像宣布了一个时间点,作为中国市场类 ChatGPT 产品空白的填充。而接下来,基于真实用户的数据反馈,模型将持续进行迭代。
02 大模型时代,AI 技术栈变化
在上一轮深度学习热潮中,百度开始了对AI的技术投入,至今已经 12 年。近十年,百度累计投入超过 1000 亿元的研发开支,核心研发投入占核心收入比例连续 8 个季度超过 20%。在全栈能力积累至今,是百度能够在短短几个月的时间内集中攻关,将文心一言完善到可以邀请外界测试的基础。
7 年前,当 Alpha Go 战胜李世石,产业内外共同意识到了深度神经网络展示其强大威力。如今,发布于 2017 年的 Transformer 被认为是比卷积神经网络更有延展性的架构。
基于此架构,AI 从原来的识别模式发展到生成模式。形象而言,如果大模型是房屋,那么 Transformer 便是搭建房屋的「砖头」。
然而,训练作为系统工程的大模型,远远比「搭建房屋」要复杂得多,不少有过训练模型经验的从业者,更喜欢用「造火箭」来形容。因此,真正要实现模型的训练、数据闭环、持续迭代,需要全面技术能力和基础设施支持。
在 ChatGPT 出现后,随着微软、谷歌进入视野,首先人们意识到牌桌上巨头的身影,以搜索业务起家的百度,也顺理成章成为视野内可见的第三位巨头玩家。
不过,可能很少有人知道,2012 年百度就曾和微软、谷歌坐在同一张拍卖桌上。那时候,图灵奖得主、深度学习三巨头之一的 Geoffrey Hinton 和 Open AI 总裁 Brockman 拍卖共同创立的技术公司,当初四家竞标企业之中的唯一中国身影,便是百度(另外三家分别是谷歌、微软与 DeepMind)。
2013 年,百度建立了深度研究院(IDL),随之在AI领域,开始了从芯片、框架、模型算法、到应用全面能力的布局。
在算力上,百度 2012 年即投建了阳泉计算中心。2022 年,正式升级为「智算中心」。此次,阳泉智算中心也专门搭建了一个机房支持「文心一言」训练。该中心最高支持每秒 400 亿亿次浮点运算。当模型投入使用之后,这里将与江苏盐城等地的其他几座智算中心一起支持大模型的运算。
文心一言的模型演进始于 2019 年的 ERNIE 1.0,此后,百度不断发布新模型。2021 年,发布了百亿参数中英双语的对话大模型 PLATO-X,以及知识增强大模型 ERNIE 3.0。
CTO 王海峰表示,文心一言是在 ERNIE 及 PLATO 系列模型的基础上研发的。「文心」系列模型是百度持续研发的一系列模型,而「文心一言」则是最新研发,基于对话场景下的通用模型。
CTO 王海峰介绍「文心一言」相关技术|来源:百度
文心模型也一直在服务百度的产品。在模型的能力的加持下,百度搜索的问题分类准确率提升 4.5%,新闻去重召回率提升 8%,视频推荐召回率提升 10%,小度的意图理解准确率提升了 3.1%。
王海峰介绍,在文心一言的研发过程中,深度学习框架所提供的支持也颇为关键。「飞桨有效支撑了大模型的灵活开发、高效训练和推理部署。」飞桨平台,也是百度 AI 技术成果的重要部分。目前,飞桨是除了国际两大主流框架 TensorFlow 和 PyTorch 之外,国内影响最大的深度学习框架,平台上开发者数量已经达到 535 万,创建 AI 模型超过 67 万个。
生成式 AI 让市场的需求爆发式增长,意味着除了底层模型的开发人员之外,需要更多开发者加入,进行不同环节、不同层面的开发工作。这也意味着基于大模型,会形成新的技术栈。
提到基于模型开发 AI 应用,李彦宏表示「文心一言让每一家公司离客户更近,利用新的能力,做出更好的客户体验」。服务客户,首先需要服务开发者。当学习框架与底层模型的训练适配,无疑能为更多开发者基于通用模型继续开发应用,提供更友好的环境。
03 李彦宏:大模型带来三大产业机会,「模型即服务」是未来的云
演讲中李彦宏坦言,目前文心一言的效果尚不完美。王海峰也表示,在对大模型的最终训练环节中,在人类反馈的强化学习(RLHF)上做的还不够充分。
但大模型的市场需求日益增长,国内大模型的空白急需填补,这是百度选择在今天发布的原因之一。邀请测试会的最后一个环节,百度正式宣布了向 C 端和 B 端开放测试。首批用户采用邀请制,可以通过邀请码在「文心一言」官网进行产品体验 ;面对企业用户,百度智能云开放 API 接口调用。
李彦宏还透露,近期,百度智能云将召开发布会。届时,将围绕文心一言的云服务和应用产品做介绍。接入了大模型的智能,既能够提供公有云服务,也可以做私有化部署。
而在上个月的 Q4 财报电话会上,他便强调了大模型对于云服务的加持。「之前选择云厂商更多看算力、存储等基础云服务。未来,更多会看框架好不好、模型好不好,以及模型、框架、芯片、应用之间的协同。这会根本性地改变云计算市场的游戏规则。」
李彦宏介绍「文心一言」|来源:百度
这也是百度智能云的新机会。在文心一言发布会上,李彦宏提出,大模型将会带来新型的云计算。主流商业模式从将从 IaaS 变为 MaaS。所谓 Maas,是「模型即服务」。依托云设施,模型将其推理能力快速接入软件公司,后者能够做出更新的产品体验。
传闻中投资 OpenAI 百亿美金的微软,也在做相同的布局。目前,GPT-4 的模型能力也已经集成在微软 Azure 中,并通过云服务的方式向外提供服务,即为 Azure OpenAI 产品。微软还表示,为了能够支持大模型的持续升级,针对大语言模型培训,专门优化了 Azure 的基础设施。
李彦宏认为,大模型将为 AI 产业带来三大机会,云服务是其中之一,另外两个分别是「行业模型精调」、「基于大模型底座进行应用开发」。
前者服务的是企业客户,应用行业 Knowhow,提供垂直领域解决方案;后者直接面向普通用户开发产品,在文本生成、图像生成、音频生成、视频生成、数字人、3D 等场景,今天已经涌现出很多创业明星公司,他们可能就是未来的新巨头。
值得注意的是,要实现模型能力的大规模发放,还需要解决部署端的快速调用问题。目前出现「智能涌现」的大模型,参数达到了一定量级之后,在多种任务的能力上,都具备了小模型所不具备的能力水平。并且这种表现是「突然出现」的。这使得在模型的综合表现令人惊喜,也成为 ChatGPT 已经具备了产品属性的原因。
当人们使用模型回答问题、整合信息,或者创作能力生成文本草稿时,便是在调用模型的实时计算推理能力。这与训练模型所需求的数据训练、参数调优等能力相比,需要的是基础设施支持上的软硬件协同效率、服务稳定性的能力。
如何实现灵活地调用模型能力,也将是构建商业模式的关键。这里面可能涉及到很多具体挑战,比如对于数据隐私要求极高的医疗、金融等行业,不适合将数据直接接入大模型。而领域的专业性要求,又需要基于通用能力,基于专业数据进行精调。
大模型的训练成本极高。将大模型微调后,服务于相关企业,如何既保留大模型的能力,又节约算力成本,并实现本地化部署、迭代,将是未来服务行业需要解决的问题。
目前,百度积累了芯片、框架、模型、应用的四层技术架构。李彦宏表示,「在全球范围内,在四层架构的每一层都有领先产品的公司几乎没有,百度的优势非常独特,相信大家会在后续文心的迭代速度上有明显感受。」
文心一言的测试开始,也意味着数据飞轮即将启动。随着真实用户反馈的建立,在 AI 上积累了十多年,百度的机会刚刚开始。
AI时代,拥有个人微信机器人AI助手!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!