文章主题:自然语言处理, 人工智能, 机器学习, 深度学习
导语 | 美国人工智能研究机构 Open AI 发布了最新的大语言模型 ChatGPT,其惊艳的性能在海内外掀起了一波又一波热潮。腾讯云开发者先后发布了解读作品《算法工程师深度解构 ChatGPT 技术》、《3小时开发 ChatGPT 微信小程序》、《对标ChatGPT:新 AI 助手 Claude 来了》,受到各领域开发者关注。本次,腾讯研究院资深专家、前沿科技研究中心主任王强,将以十问十答的形式,用通俗的语言,与大家交流其最新、最受关注的问题。
01、ChatGPT现在有多火?
在2022年的11月30日,ChatGPT的问世引起了全球范围内的热烈反响。根据Similarweb的数据统计,今年的一月份,平均每天约有1300万独立访客使用ChatGPT,这一数字是去年12月份的两倍还多。至今,ChatGPT的用户数量已经超过1亿,创下了互联网历史上最快破亿应用的纪录。这个速度甚至超过了TikTok在短短九个月内达到的破亿速度。
除了广大用户千奇百怪的问题,引发了社交媒体的大量传播,ChatGPT 在各领域的秀肌肉,也进一步强化了其知名度。美国宾夕法尼亚大学发现,ChatGPT 能够通过该校工商管理硕士 MBA 课程的期末考试。《自然》杂志1月24日宣布,将人工智能工具列为作者的论文,不能在杂志上发表。《自然》称,作者身份意味着对作品负有责任,而人工智能工具无法承担这样的责任。据传,ChatGPT 还成功通过了谷歌的编程面试,拿到了年薪18.3万美元的L3工程师offer。世界各地的网友贡献了多样化的 ChatGPT 体验案例,详见《 ChatGPT 还有这种玩法?》。
02、ChatGPT背后的核心技术?
ChatGPT 是一种生成式人工智能(AI)的形态,其在2022年度的重要战略技术趋势中被 Gartner 列为首位。据 Gartner 的预测,到2025年,生成式 AI 将占据所有生成数据的比例达到10%,然而当前这一比例尚不到1%。
ChatGPT 背后的支撑是人工智能大模型,这个技术点在去年《2022十大数字科技前沿应用趋势》报告中做过详细的阐述:当前的人工智能大多是针对特定的场景应用进行训练, 生成的模型难以迁移到其他应用, 属于“ 小模型”的范畴。整个过程不仅需要大量的手工调参, 还需要给机器喂养海量的标注数据,这拉低了人工智能的研发效率, 且成本较高。
大模型通常是基于未标注的大量数据集进行自监督学习的训练,然后在各种应用场景中进行微调和二次训练。这种方式的优势在于,通过对大模型的优化,可以使下游的小型模型受益,从而极大地扩展人工智能的应用范围和开发效率。正因如此,大型模型的改进已经成为行业关注的焦点,包括Open AI、谷歌、脸书、微软,以及我国的百度、阿里、腾讯、华为和智源研究院等公司,都致力于推出超大规模的模型。特别是在翻译、问答和内容生成等领域,Open AI的GPT-3大模型展示了出色的性能,令业界对实现通用人工智能的目标充满期待。目前,ChatGPT的版本已经升级到GPT-3.5,这是在GPT-3基础上的优化,使得其能力得到了进一步提升。
ChatGPT 的核心技术的其中之一就是 Transformer 技术。从它的全称 “Chat Generative Pre-trained Transformer” 中就可以看出这一点。Transformer 技术是近年来人工智能领域的一项重大突破,由 Google 在 2017 年提出,它采用了注意力机制,是一种深度学习模型。这种模型可以根据输入数据的各个部分的重要程度,为它们分配不同的权重。在精度和性能方面,Transformer 都优于之前的流行模型,如 CNN 和 RNN,极大地提高了模型训练的效果。这使得人工智能能够在更大的模型、更多的数据和更强的计算能力的的基础上进一步提高其能力。
此外,他还具有很强的跨模态能力,不仅在 NLP (自然语言理解)领域表现优异,在语音、图像方面也显示出了优异的性能。对 ChatGPT 技术原理感兴趣的开发者详见《算法工程师深度解构 ChatGPT 技术》。
03、ChatGPT为什么能成功?
ChatGPT 是非常成功的一次从技术研发到工程化、再到点燃大众热情的经典案例。
技术创新
在 Open AI 的不断探索与研究过程中,新技术的引入成为了一个重要的课题。近期,强化学习方法的应用为模型带来了显著的提升效果。在训练过程中,Open AI 巧妙地融入了人类专家的角色,他们不仅协助 ChatGPT 撰写更加人性化的回答,同时也在生成的结果中起到了评估的作用。这种基于奖励机制的微调优化方式,有效地推动了模型的进步。
组织文化Open AI自成立以来,始终专注于构建普遍适用的AI技能,并毫不动摇地投入其中,这构成了ChatGPT取得巨大成功的关键因素之一。在这一远大愿景的感召下,众多顶级人才聚集一堂,他们在没有商业KPI的驱使下,一心一意地投入到研发工作中,从而实现了重大突破。
反馈机制在用户实际应用中,Open AI 能够收集到关于模型优缺点以及使用体验的宝贵反馈,借此机会形成一个完整的模型优化闭环。除此之外,为了更好地激励用户提供有针对性的反馈,Open AI 还会定期举办反馈竞赛,主题涵盖回答中的潜在风险、创新回答建议等多个方面。参赛者有机会赢得价值 500 美元的 API 积分,以及一系列精美奖品。
项目策划技术的影响力与其项目策划密切相关,这一点在 ChatGPT 身上得到了充分的体现。其独特的问答和多轮对话形式,不仅激发了公众的热情和创造力,还让他们能够在各自感兴趣的领域自由发挥。无论是幽默搞笑,还是严肃认真,都能在朋友圈和媒体上引起刷屏的热潮。此外,ChatGPT 之前的 GPT3 推出的各种应用,如新闻撰写、诗歌创作、语言翻译、编程编写的功能,也都在社会上引发了热烈的讨论和关注。这些成功的项目设计案例,尤其是 ChatGPT 和 GPT3 等,都为我们提供了值得学习的经验。同时,像 AlphaGo 的围棋大战、Deepmind 破解蛋白质折叠结构这样的议题任务设置,也都是非常好的例子。
04、ChatGPT是否开源?
尚未开源,目前是以 API (应用程序编程接口)调用的方式服务,目前也暂无开源计划。
Open AI 不 Open ,是业界很多人诟病的地方。开源是多年来软件和互联网产业之所以蓬勃发展的核心动力之一。开源的方式可以调动全球开发者的积极性,每个人都可以下载源代码使用,并进行优化和在社区分享。这种用全社会的力量来创新的机制,大幅加速了技术科研攻关、产业应用的进程。
关于 ChatGPT 为何不开源,业界也有一些专家表示认可,因为人工智能技术至今为止还是一个黑盒,关于其内部的机制尚未可知,如果代码开源,很难避免该技术用于一些不利于社会和人类的方面。此外,自从 Open AI 放弃了非盈利组织的定位,接受微软等投资后,从商业化的角度考虑,也会采取整体模型闭源,开放应用接口的方式来推广,同时也会开源少部分模型,丰富开发者生态。
05、ChatGPT免费吗?未来能赚钱吗?
当前,普通用户使用 ChatGPT 是免费的。
据《财富》,2022年,OpenAI 公司的收入预计不足 3000 万美元,净亏损 5.45 亿美元。而随着 ChatGPT 的火爆,可能进一步增加其亏损,因为用户每一次调用,就会让 Open AI 付出更多的计算资源和带宽成本。
当然,Open AI 也开始了商业化的尝试,2023 年 2 月,OpenAI 宣布推出付费试点订阅计划 ChatGPT Plus,定价每月20美元。付费版功能包括高峰时段免排队、快速响应以及优先获得新功能和改进等。
Open AI预测,随着 ChatGPT 成为吸引客户的重要工具,其收入将会快速增长,预计 2023 年收入 2 亿美元, 2024 年收入预计超过 10 亿美元。
此外,据报道,微软正在洽谈向 OpenAI 投资约 100 亿美元,也让其估值达到了290 亿美元。而此前,2019年微软曾向 OpenAI投资 10 亿美元,为其提供了大量的资金支持和 Azure 云算力支持。
06、ChatGPT会替代搜索引擎吗?
短期来说,不会。长期来看,有可能通过融合,形成新型的搜索引擎。
目前的 ChatGPT 给出的答案参差不齐,既可以给出很多问题的简要答案,甚至能写一篇符合初级规划师水平的产业规划报告,但 ChatGPT 也不可避免地经常出现“一本正经的胡说八道”的情况,这使得其置信度还需进一步提升。而且 ChatGPT 目前的知识库主要还是2021年9月之前的数据,缺乏新数据,这也大大限制了其提供新信息的能力。而同时,Open AI 还推出了 WebGPT ,它可以在网络上查找信息并提供信息来源,这将很大程度上补充 ChatGPT 的实时信息源,从而进一步优化答案。
在搜索引擎的逻辑下,选择权在用户,搜索引擎一般会给出众多相关结果,根据用户的点击反馈来持续优化搜索结果。近年来,搜索引擎也一直在做结果唯一化的尝试,比如直接在搜索框中提供唯一的答案选择,但目前可提供唯一结果的比较有限,且无法开展多轮对话。
ChatGPT 的推出,给搜索引擎厂商带来了很大的震动,也启发了其打造搜索新体验的方向。谷歌两位创始人多次召开讨论会,以应对 ChatGPT 可能带来的颠覆搜索引擎业务的潜力。谷歌 CEO Pichai 表示,将在近期推出类似 ChatGPT 的基于人工智能的大型语言模型,一款由 LaMDA 提供支持的对话AI服务 Bard,让用户以“搜索伴侣”的形式使用。微软已经在 Bing 搜索引擎中添加了 ChatGPT 功能,并开展了小流量测试。百度也计划在3月推出新功能,在搜索引擎中加入类似 ChatGPT 的对话式机器人“文心一言”。
我们也可以看看 ChatGPT 自己的回答:
07、还有哪些类似ChatGPT的模型和应用?
ChatGPT 是典型的 AIGC 大模型,目前国内外在文本、代码、图像、视频、3D等领域都涌现出相应的生成模型。
当前,ChatGPT 一个有力的竞争者是Claude,他是 Anthropic 近期推出的生成式Al模型。Anthropic 由几位前 Open Al 的研究员在2021年创立,包括OpenAl前研究副总裁 Dario Amodei、GPT-3 论文一作 Tom Brown 等人。对 Claude 背后技术感兴趣的开发者,详见《对标ChatGPT,新AI助手Claude来了》。据《金融时报》报道,2022 年底,Google 向这家初创公司投资了约 3 亿美元。相比 ChatGPT,Anthropic 在其网站上更强调其构建“可靠、可解释和可操纵的人工智能系统”的工作。
腾讯的混元大模型,集 CV(计算机视觉)、NLP (自然语言理解)、多模态理解能力于一体,先后在 MSR-VTT、MSVD 等五大权威数据集榜单中登顶,实现跨模态领域的大满贯。2022 年 5 月,腾讯“混元”AI大模型在 CLUE(中文语言理解评测集合)总排行榜、阅读理解、大规模知识图谱三个榜单同时登顶,一举打破三项纪录。12 月,混元推出国内首个低成本、可落地的NLP万亿大模型,并再次登顶自然语言理解任务榜单 CLUE。混元用千亿模型热启动,最快仅用 256 卡在一天内即可完成万亿参数大模型 HunYuan-NLP 1T 的训练,整体训练成本仅为直接冷启动训练万亿模型的1/8。
图片来源:红杉资本《Generative AI: A Creative New World》08、ChatGPT等大模型会让我们实现通用人工智能吗?
自从包含 1750 亿参数的 GPT3 从 2020年6月推出以来,业界对于达成通用人工智能的探讨又进一步热了起来。正如微软 CEO 纳德拉近日在接受华尔街日报访谈时表示, GPT 的发展不是线性的,而是指数级变化的,所以相比较 GPT3 ,当前的GPT3.5 已经展现出更强的能力。业界普遍预测,GPT4 将在今年推出,并具备更强大的通用能力。
但同时,我们也需要有清晰的辨识, AI 并非万能。即无论 AI 如何强大,其解决的问题,也只是人类面临所有问题的很小一部分。因为现实世界中有海量的问题并不是数学问题,也就不可能通过计算来求解。目前人工智能已经找到解决方案的问题,也只是可计算问题的一小部分。
09、ChatGPT可能产生哪些社会或伦理问题?
ChatGPT 也面临人工智能长期以来面临的问题,如歧视等伦理问题,被滥用于诈骗、欺诈、政治造谣、伪造身份等安全问题,以及知识产权问题。最近,OpenAI表示,正考虑在 ChatGPT 中添加模型水印,即监测模型可以识别的特殊标记,以降低模型滥用的问题。
此外,针对大众普遍担心的失业问题,ChatGPT 在 LinkedIn 上分享了一篇帖子写道:“AI 不会取代你。一个使用 AI 的人将取代你”。
10、ChatGPT的未来将带来哪些变革和新机会?
ChatGPT 自己的回答,已展现出其发展的一种典型路径,即作为人类的陪伴机器人。
但更重要的,ChatGPT 会成为未来人机交互的一个新入口,很可能改变现有 APP 的交互方式,以更为自然的对话方式,让用户来使用软件和调用技能。例如,未来在文档编辑软件中,人们可以通过描述需求,让软件直接生成文字内容,或者生成一个图形,甚至直接进行修图等工作。在编程方面,ChatGPT 这种即时编程的方式,将改变传统的工作方式和应用交互规则,推动产业进入软件3.0的新阶段。
除此之外,ChatGPT 未来还可以有多样化的应用前景:
一是现在火热的数字人,好看的皮囊下,则需要类似 ChatGPT 这样的模型提供对话能力,才能让数字人具备有趣的灵魂,更好地陪伴和服务人。同时,该能力也可以嵌入到机器人身体内,让未来的人形机器人更聪明,更像人。
二是大量的开发者可以利用 ChatGPT 这样的底层平台,在大模型基础上根据不同行业和场景进行模型调优,从而创造出各类满足用户需求的丰富应用,从而形成对话式 AI 的生态。例如国外火爆的 Jasper,通过在 GPT3 模型上的微调,可以帮助用户撰写营销文案,甚至有人在上面完成了一部 12 万字的小说,IBM、Airbnb、Autodesk 等大企业都是其企业用户。普通用户可以免费试用1万个单词的版本,之后可以29美元订购2万个单词,或用59美元订购生成5万个单词的权限。
三是在教育、医疗、广告营销、电子商务、市场和战略咨询、企业服务、编写代码等专业服务领域,成为更为专业的人类助手,不仅可以生成内容,还可以调用各种专业能力,甚至替代部分初级的专业工作。企业服务方面,2月8日,微软推出了由 ChatGPT 提供技术支持的高级 Teams 产品, ChatGPT 可以自动帮助参会者生成会议记录,即使没有参加会议,智能回顾功能也能帮助用户生成会议记录和要点。如果有被同事在会议中提到,ChatGPT 还可以给用户提供个性化的时间线标记,以快速查看分享和讨论的内容,该服务将在 6 月份每月收费 7 美元,然后在 7 月份增加到 10 美元。代码编写方面,近期特斯拉前任 AI 总监 Andrej Karpathy 透露,现在他80%的代码都是由AI生成的(GitHub Copilot),而且有80%的准确率。
四是与其他模态AI工具的组合式创新,ChatGPT 同文生图、文字生成视频、甚至未来直接生成 3D 模型的工具集成,可以带来 UGC 内容的极大丰富,成为内容工业化的核心引擎。
未来,ChatGPT 与更多的 AI、云计算等信息技术的集成创新,将创造改变生产力曲线的工具,成为经济发展新动力。
最后,祝各位开发者情人节快乐
腾讯云开发者公众号 后台回复 0214 领源码
你可能感兴趣的腾讯工程师作品
AI时代,拥有个人微信机器人AI助手!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!