最新推荐最新文章推荐展示,精彩尽在咫尺

新华社研究院发布国产大模型报告,讯飞星火、文心一言位居前二
文心一言

新华社研究院发布国产大模型报告,讯飞星火、文心一言位居前二

IT 之家 8 月 13 日消息,新华社研究院中国企业发展研究中心昨日发布了《人工智能大模型体验报告 2.0》(下称《报告》)。 《报告》指出,当前国产大模型产品已具有显著进步,但与接受过高等教育的人类相比,在智商、情商等方面仍存在一定程度差距。 《报告》选取 360 智脑、百度文心一言、澜舟 Mchat、商汤商量、讯飞星火、阿里通义千问、昆仑天工、智谱 ChatGLM 共 8 种大模型产品进行评测,根据基础能力、智商能力、情商能力、工具提取四个维度计算总分。IT 之家附总分排名如下: 讯飞星火:1013 分 百度文心一言:1010 分 商汤商量:983 分 智谱 ChatGLM:983 分 360 智脑:951 分 昆仑万维天工:943 分 阿里通义千问:935 分 澜舟 Mchat:932 分 据介绍,讯飞星火 ” 在工作提效方面优势明显 “,百度文心一言 ” 地基深厚、基础能力仍处领军水准 “,商汤商量则 ” 在情商方面表现优秀 “,智谱...
顶着压力,百度发布文心一言,邀请测试开启
文心一言

顶着压力,百度发布文心一言,邀请测试开启

机器之心报道 编辑:泽南、蛋酱 发布会撞车又如何,百度也拿出了多模态。 在业内人们的认知中,能造出国产 ChatGPT 的公司里,百度排名前列,然而文心一言发布前夕,OpenAI 率先发布了功能更为强大的多模态大模型 GPT-4,巨大的压力给到了百度这一边。这一次,文心能否回应人们的期待? 距离 GPT-4 发布仅 37 个小时后,答案就被揭晓了: ‍ 3 月 16 日下午,百度正式发布了知识增强大语言模型「文心一言」。 「这段时间不断有人问我:你们为什么现在发布,你们是不是真的 ready 了?」百度创始人、董事长兼首席执行官李彦宏说道。「其实自 2019 年起,每年文心大模型都要发布一个新的版本。文心一言的发布是我们过去多年努力的自然延续。」 文心一言当然是要对标 ChatGPT,甚至 GPT-4。李彦宏表示,在全球大厂中,这样的产品百度是第一个发布的。 既然文心一言正式登场了,那肯定要上手试试。在现场,百度展示了文心一言在文学创作、商业文案、数理逻辑、中文理解和多模态生成方面的能力。 续写《三体》,文字生成视频 今天下午,李彦宏总共展示了五个案例,介绍文心一言的能力: 首先来体验一下文学创作。关于知名科幻小说《三体》,李彦宏和文心一言进行了一番对话: ‍ 具体来说,「总结三体的核心内容」体现了文心一言的总结与分析能力,而续写《三体》体现了内容创作生成能力,再到「于和伟和张鲁一有哪些共同点」、「于和伟和张鲁一谁更高」这类问题背后,体现的则是文心一言的推理能力 —— 它需要先知道两人的准确身高,才能得出正确答案。 接下来,李彦宏还展示了文心一言的商业文案创作水平,包括给一家科技公司起名字、写 slogan、写新闻稿。 AI 要写好一篇稿子,除了需要准确理解我们的意图,还要有清晰的表达能力。 「对于语言大模型来说,这背后需要庞大的数据规模作为基础。人类常说『读万卷书』,而 AI 是『读书破千亿卷』。文心一言大模型的训练数据就包括万亿级网页数据,数十亿的搜索数据和图片数据,百亿级的语音日均调用数据,以及 5500 亿事实的知识图谱等,这让百度在中文语言的处理上,能够处于独一无二的位置,」李彦宏说道。 越来越多的研究和实践表明,大模型在参数体量达到某个量级时,就可能发生「智能涌现」,即使在没有专门训练过的领域,也能涌现出知识理解和逻辑推理能力。 我们无法将所有能力一一教给 AI,但通过大量数据的训练、数十亿的搜索请求,大量图片和知识图谱中的事实,在不断的训练过程中,文心一言拥有了通用化的能力。不知道文心一言目前的参数达到了多少。...
“文心一言”居然懂温州话!我们跟它聊了聊温州
文心一言

“文心一言”居然懂温州话!我们跟它聊了聊温州

3月16日,被称为中国版“ChatGPT”的文心一言上线,成为“智能聊天界”的新晋网红。文心一言是百度打造的大语言模型、生成式AI产品。当晚,潮新闻记者拿到了内测资格,跟文心一言聊了聊温州,并请它推荐温州,为温州作画、写诗。 【聊聊温州话】 记者:温州话怎么讲? 文心一言:我还在学习各种语言和方言,当前我会说四川话、东北话、广东话和台湾话。作为一个语言模型,我还可以做很多事情,你可以再尝试问我其他问题。 记者:要多久才能学会温州话? 文心一言:学习温州话需要一定的时间和努力。虽然温州话与普通话在语法和发音方面有很大的相似之处,但是温州话有许多独特的词汇和口音,如轻声、儿化等,这需要长时间的练习和实践来掌握。此外,温州话的语速较快,需要逐渐适应其语速和节奏。因此,如果想要流利地说温州话,需要花费一定的时间和精力去学习和练习。 记者:走归是什么意思? 文心一言: 温州话“走归”是指回家的意思。它可以用于各种情境,例如: 1.“走归家吃饭”(去家里吃饭)。 2.“走归吃晚饭”(回家吃晚饭)。 3.“走归坐一会儿”(回家坐一会儿)。 总之,走归是一个常见的温州话词汇,可以用于各种场合。 记者:吃天光是什么意思? 文心一言:温州话中,吃早餐被称为“吃天光”,可能是指天亮了到了起床吃早餐时间的意思。在温州方言中,各种方言都有类似的表达,比如徽语中将吃早餐称为“食晏”。总之,吃天光这个词汇在不同的方言中有不同的含义,可能与天气、时间、饮食等因素有关。 看样子,文心一言虽然讲不了温州话,但还是能准确解释几个温州话的意思。 不过,文心一言有时会出现“一本正经胡说八道”的情况。 【聊聊温州人】 记者:温州人颜值高吗? 文心一言:温州人的颜值并不是全国最高的,但也有一些长得很帅或很有特色的温州人。比如,温州籍明星包括陈晓东、林峰、张智霖、吴彦祖等。此外,温州的美食文化也是一大特色,如猪脏粉、炒粉干等,这些美食在温州地区非常受欢迎,也让温州人在外形上更具特色。总的来说,温州人的颜值虽然不是全国最高的,但也有一些长得很帅或很有特色的人。 记者:温州人身高最高是多少? 文心一言: 根据公开资料,温州人身高最高的是来自苍南县龙港镇的谢大海,他的身高为198cm。 ·温州人的平均身高为169.5cm; ·不同年龄段的温州男性和女性的身高分别为:159.1cm和158.8cm。 记者:温州最聪明的人? 文心一言:根据公开资料,温州最聪明的人是陈杲。 【为温州写诗】 记者:请为温州的瓯柑写一首诗 文心一言: 瓯柑美味无人敌, 甜似蜜糖色如玉。 皮薄肉脆汁多汁, 果肉饱满味更醇。 瓯柑,温州的宝贝, 是一道美味佳肴的典范。 无论是新鲜食用还是加工, 它都是温州人民心中的珍品。 瓯柑,你是温州人民的骄傲, 是我们生活中不可或缺的一部分。 愿你在未来的日子里, 继续为温州人民带来更多的欢乐和幸福! 记者:请为温州糯米饭写一个rap 文心一言: 温州糯米饭,香气扑鼻来, 软糯可口,美味无比。...
文心一言来了!李彦宏:百度是全球大厂中第一个做出来的!
文心一言

文心一言来了!李彦宏:百度是全球大厂中第一个做出来的!

整理 | 郑丽媛 屠敏出品 | CSDN(ID:CSDNnews) 对于昨日 GPT-4 的意外发布,相信多数人都有如下想法: 1、多模态大模型 GPT-4 真的很强大! 2、恰好赶在了文心一言发布前夕,百度要如何应对压力? 蓄势了一个多月,承载着无数人或期盼或好奇的目光,“国产版 ChatGPT”「文心一言」今天终于正式亮相! “「文心一言」并不完美,大家想要将其对标 ChatGPT,甚至是 GPT-4,但放眼全球大厂,百度是第一个做出来并真正发布出来的”,李彦宏说道。 “十月怀胎,一朝分娩”,那么接下来,就让我们开始这场万众期待的震撼发布,共同揭开「文心一言」的神秘面纱。 百度在大厂中第一个做出来的「文心一言」,实力几何? 在发布会伊始,对于外界频频问及的“为什么现在发布,百度是否真的做好了准备”等疑问,百度 CEO 李彦宏在开场进行了回应: “过去多年,百度一直在进行 AI 技术的研究与研发。文心大模型首个版本在 2019 年便已发布,文心一言只是过去多年研发成果的延续。之所以现在发布,是因为现在市场有强烈的需求,包括百度从搜索、智能云到自动驾驶,再到客户、用户,都需要这样的技术。同时,大模型只有发布了,才会有用户反馈,只有通过不断地反馈,才能加速模型自身的迭代。” 紧接着,李彦宏就带着 5 个 Demo “炸场”,让大众一饱眼福。 (1)多模态生成 如果说昨日 GPT-4 带着多模态出现,用一张草图生成一个网站,让众多程序员感到惊艳,那么今天的「文心一言」在覆盖多种模态方面做得更为全面,可用文字生成图片、音频(方言)、视频等多个维度。 关闭 观看更多 更多 正在加载 正在加载 退出全屏 视频加载失败,请刷新页面再试 刷新 视频详情 不过目前,由于生成视频的成本比较高,百度尚未对所有用户开放,未来会逐步接入。...
清华大学发布《大语言模型综合性能评估报告》 :GPT-4 第一,文心一言更懂中文
文心一言

清华大学发布《大语言模型综合性能评估报告》 :GPT-4 第一,文心一言更懂中文

品玩8月10日讯,近日,清华大学新闻与传播学院教授、博士生导师沈阳所在团队发布了《大语言模型综合性能评估报告》(下文简称“报告”),报告显示总得分率 GPT-4 第一,百度文心一言在三大维度 20 项指标中综合评分国内第一,超越 ChatGPT,其中中文语义理解排名第一,部分中文能力超越 GPT-4。 报告本次评估选取了 GPT-4、ChatGPT 3.5、文心一言、通义千问、讯飞星火、Claude、天工 7 个大语言模型,围绕生成质量、使用与性能、安全与合规三大维度,全面考察大语言模型上下文理解、中文语义理解、误导信息识别、逻辑推理、内容安全性、隐私保护等 20 项指标。综合来看,文心一言语义理解能力突出,特别是具备更好的中文理解能力,更懂中国文化,同时时效性强、内容安全把握细微,这源于其知识增强、检索增强和对话增强的技术创新。
百度股价逆风翻盘 文心一言背后的荣光与野望
文心一言

百度股价逆风翻盘 文心一言背后的荣光与野望

文心一言正式开放邀请测试近8小时后,百度(BIDU.O)股价迎来了逆风翻盘。 3月16日晚,在以3.57%的跌幅水平低开后15分钟内,百度股价迅速逼平涨跌临界线。经过约1小时的多空博弈后,最终多头占据上风,百度股价一路走高,至收盘报于138.16美元,涨幅达到3.8%。 如果说当日白天,面对刚刚出世的文心一言,资本市场还颇显失望。那么在过去的这一夜里,外界的态度已开始分化甚至逆转。 而在3月17日,百度集团-SW(09888.HK)股价进一步暴涨。在盘前涨幅达到7.91%之后,截至上午11点,百度股价涨幅已达到12.31%。作为中国本土首款对标ChatGPT的产品,“文心一言”开始逐渐被资本消化并理解。 时针拨回至发布会开始的那一刻。“我自己测试感觉还是有很多不完美的地方,对标着ChatGPT甚至GPT-4,门槛是很高的。”在文心一言的发布会开场,百度公司创始人、董事长兼CEO李彦宏直言道。 或许也是这样的表态、现场录屏演示的保守风格,在最初影响了资本市场的信心。但随着文心一言开放测试逐渐展开、首日6.5万家企业申请调用等信息公布,外界开始看到文心一言背后、基于中国本土市场展开的AIGC想象空间。 而这一切,源于李彦宏在文心一言身上所寄托的技术“野望”。“全球大厂还没有一个做出来的,百度是第一个。”“百度已经看到在生成式AI领域的强烈市场需求,这也是百度积极研发、迭代并推出文心一言产品的原因。” 文心一言问世 “整体大大超出了我的预期。”多位体验过文心一言测试的用户如是说。 从发布会现场来看,通过在文学创作、商业文案创作、数理推算、中文理解、多模态生成五个使用场景中的能力展现,文心一言也确实在一定程度上具备对人类意图的理解能力,回答的准确性、逻辑性、流畅性也都逐渐接近人类水平。 例如,在文学创作场景中,李彦宏以著名科幻小说《三体》为例,围绕小说核心内容、内容续写提问文心一言,在几秒时间内,文心一言给出综合性强、内容提炼度高的回答;在数理推算能力展示中,文心一言对“鸡兔同笼”问题进行作答并纠正了题干给出的错误信息。 此外,文心一言还具备文本、图片、音频和视频的多模态生成能力,在音频方面甚至能够生成四川话等方言语音。“多模态是生成式AI一个明确的发展趋势。”李彦宏表示,“未来,随着百度多模态统一大模型的能力增强,文心一言的多模态生成能力也会不断提升。” 一位业内观察人士指出,文心一言看似简单,其实背后具备很高的技术门槛。“能做应用题,意味着对长文本的理解能力要求很高,整体文生图、文生视频这些多模态生成能力也需要大量的技术积累。” 该人士同时表示,此前ChatGPT给他最大的震撼点在于它是一套通用人工智能系统,这是对于行业的颠覆。“过去的AI深度学习更多是将任务进行拆解和细分,任务拆得越细就越简单,AI就容易处理并达到较好的效果,如今则是一套模型打天下,通过零样本学习具备深层次的通用能力,这件事情是非常难的。” 尽管从整体而言,文心一言这类大语言模型还远未到发展完善的阶段。但一经上线后,得益于真实的用户反馈,文心一言将快速迭代。“文心一言将建立起真实用户反馈、开发者调用和模型迭代之间的飞轮,效果会迅速提升,给你‘士别三日,当刮目相看’的惊喜。”李彦宏表示。 本土市场优势 尽管目前暂无法与ChatGPT同日而语,但文心一言也有自己的优势。 在发布会现场,李彦宏特别对文心一言的中文理解能力进行了展示。在展示过程中,文心一言正确解释了成语“洛阳纸贵”的含义、“洛阳纸贵”对应的经济学理论,还用“洛阳纸贵”四个字创作了一首藏头诗。 “‘洛阳纸贵’、‘藏头诗’,这很考验AI对中文和中国文化的理解。”李彦宏指出,“作为扎根于中国市场的大语言模型,文心一言具备先进的自然语言处理能力。这个例子就比较清楚的展示了我们在中文上的优势。” 而据实际测试,文心一言也颇懂中文。例如,在询问“校服上除了校徽别别别的”这句话的含义时,文心一言立刻给出了正解: 而在输入“苔花如米小”这个诗句并询问含义,文心一言也很快给出了答案: 而在用户要求根据上述主题创作歌曲时,文心一言也给出了自己的答案。通过文心一言的歌词能够发现,它确实在一定程度上理解了“苔花如米小、也学牡丹开”的含义。 在多模态生成方面,文心一言也表现不错,在短时间内迅速给出了自己的作品。尽管从作品本身而言,文心一言尚未理解“苔”的真正形态,因而在对苔花的呈现上还略有偏差。但从表义来看,此图已有“苔花如米小”的神韵。 “当前ChatGPT的强大是有目共睹的,但在中文领域ChatGPT的成熟度略低。”浙江大学国际联合商学院数字经济与金融创新研究中心联席主任盘和林指出。事实上,作为高度本土化的生成式AI产品,文心一言更加匹配国内用户的中文使用习惯,表现出较高的中文语言和中国文化的理解能力。 对中文的准确理解,离不开高密度的中文数据训练。IDC中国研究总监卢言霞认为,文心一言有中文语言优势,有国内领域相关数据积累。据了解,文心一言大模型的训练数据包括万亿级网页数据,数十亿搜索数据和图片数据,百亿级语音日均调用数据,及5500亿事实的知识图谱。 在盘和林看来,文心一言的另一个优势则在于易得性,相较之下,ChatGPT在国内的使用难度明显较高。 事实上,大量的企业对文心一言保持着超高的热情,自2月7日百度官宣文心一言后,已有650家企业宣布加入文心一言生态。而在文心一言发布会后一小时内,排队申请文心一言企业版API调用服务的企业用户已达3万多家,首日有6.5万家企业申请调用。申请产品测试网页多次被挤爆,百度智能云官网流量飙升百倍。 在发布会上,李彦宏也坦言,百度之所以在当下仍不完美的时刻推出文心一言,是“因为市场有需求”。无论是百度搜索、智能云、自动驾驶、小度等业务线均有需要,且更重要的是客户和合作伙伴的需要。 “从我们承认文心一言的存在到现在,短短一个月的时间,就有超过650家合作伙伴宣布加入文心一言生态,大家都希望能早一点用上最新最先进的大语言模型。”李彦宏表示。 从0到1的十年技术长跑 文心一言的面世,更像是从0到1的过程。尽管仍有不完美,但已大大超出用户预期。 “要真正追上ChatGPT确实存在难度,但国内能在短时间有这样的产品出来,就已经很不容易,先上桌,才能进入快速迭代的飞轮。”有评论人士表示。 事实上,在全球大厂中,百度是第一个做出类ChatGPT的产品,从而让所有人能使用拥有先进技术的生产力工具。但平心而论,尽管拥有外部市场的强烈需求,但文心一言产品背后的大语言模型,难以速成。 据百度集团首席技术官王海峰介绍,作为新一代知识增强大语言模型,文心一言是在ERNIE及PLATO系列模型的基础上研发的。它的关键技术包括有监督精调、人类反馈的强化学习、提示、知识增强、检索增强和对话增强。 其中,前三项是这类大语言模型都会采用的技术,ERNIE和PLATO中也已经有应用和积累,在文心一言中又有了进一步强化和打磨;后三项则是百度已有技术优势的再创新,也是文心一言未来越来越强大的基础。 事实上,早自2019年,百度便推出了知识增强的语义理解框架ERNIE(文心大模型),并广泛应用于阅读理解、情感分析、智能搜索问答、视频推荐、CTR预测等领域。目前,ERNIE系列模型经过了多次的迭代,具备了较强泛化能力和性能。 例如,百度最新发布的ERNIE 3.0 Zeus,已经拥有千亿级参数,并具备智能创作等各类自然语言理解和生成任务。与业界其他模型相比,ERNIE 3.0 Zeus在公开数据集上的小样本学习、理解和生成任务效果均处于领先水平。根据IDC最新发布的《2022中国大模型发展白皮书》,百度的文心大模型在产品能力、生态能力方面已处于国内第一梯队的水平。 除了文心大模型本身之外,百度尤其值得称道的是对人工智能时代IT技术栈的全栈布局。李彦宏介绍,在过去,IT技术栈主要分为芯片层,操作系统层和应用层三层架构。而进入人工智能时代后,完整的AI系统具备分为芯片层、框架层、模型层和应用层四层技术架构。 如今的百度,则是全球为数不多、在这四层进行全栈布局的人工智能公司,从高端芯片昆仑芯,到飞桨深度学习框架,再到文心预训练大模型,到搜索、智能云、自动驾驶、小度等应用,各个层面都有领先业界的自研技术。 李彦宏认为,百度AI全栈布局的优势在于,可以在技术栈的四层架构中实现端到端优化,大幅提升效率。尤其是框架层和模型层之间,有很强的协同作用,可以帮助构建更高效的模型,并显著降低成本。事实上,超大规模模型的训练和推理,给深度学习框架带来了很大考验。比如,为了支持千亿参数模型的高效分布式训练,百度飞桨专门研发了 4D 混合并行技术。...
文心一言,吹牛在前
文心一言

文心一言,吹牛在前

有理由怀疑,目前是百度市场部在主导类 ChatGPT 产品——文心一言。 以《XX宣布接入文心一言》为固定格式标题的文章正在社交媒体上刷屏,截至目前,已有400家了。 颇为有趣的是,在这份长长的名单里,除了银行、媒体之外,居然还有一家来自上海的预制菜企业。 这给人一种在东北打架群的感觉,为了摇人镇场子,不惜把患有小儿麻痹症的二舅也叫上凑个数。 考虑到距离百度宣布文心一言不日出炉的消息也只不过才半个月而已,却营造出了即将红旗漫卷西风,举国层林尽染的氛围感,想必集团上下都动员起来了,业绩考核目标亦随之调整。 能力尚不确定,却营销先行,这对一个以工程师文化为傲的企业来说,是一件非常尴尬的事情。 我们只能从百度的技术储备及近年来的发展脉络推导出一个想当然的结论——它是最有能力做出中国版 ChatGPT 的企业。 可当错过一个时代红利的百度人设已变为「理念在线、产品欠奉」,当然要习惯性的对文心一言的使用体验打上问号了。 百度宣传稿里展示的调调是——早就在做同样的事,只是 ChatGPT 抢先发布了,我们也不能藏着掖着了,索性摊牌,一把梭了。 李彦宏更是在全年财报电话会上宣称文心一言会更适合中国市场。 如果真是这样的话,反正再过几天,到了三月份,按照百度既定的计划,大家就可以体验到内测版本了,能不能完爆 ChatGPT 一试便知,何必现在就把声量搞的大到夸张呢? 万一体验不好呢?百度很久没在产品层面给用户留下深刻的印象分了,甚至在口碑上还留有负面资产,那么届时的非议将沸反盈天,给企业的商誉带来又一次重大打击,对现在急着拥抱文心一言的合作伙伴来说也会尴尬至极。 只能理解成百度不想再错失又一次技术浪潮带来的红利,以致于疏忽了用户的预期管理。 在我看来,这事反而不用急,因为潜在的竞争对手即使已经在做大模型的研发,一时拿出可落地的产品并不现实,何况你有先发优势,有人才储备,静悄悄的打磨,然后掏出产品,惊艳所有人不好吗?你他妈又不是自媒体,抢这热点有什么用呢? 所以,我对百度现在狂吹、嗨吹、尬吹文心一言相当看不懂。这和 ChatGPT 爆火的路径完全相反,一个是从专业圈层扩散至普罗大众,最终发展到用户、媒体帮着宣传,完全依赖口碑传播。另一个则是起手就找牛头马尾的媒体铺稿宣传,我不知道文心一言的体验是不是足够本土化,这宣传手法倒是挺「优良传统」的。 另外吊诡的是,正如德能配位,那还有什么好说的呢?营销过火,不代表产品就不行,可是在目前百度推广的稿件中,并没有透露文心一言任何的、具体的在中文领域语料、语义理解的优势细节,给出的信息没有明显的时效性,放在他们过往任何一个产品公关稿件中似乎也成立。 我更希望他们在产品上做好了准备。马斯克在2月15日的一次远程访谈中说:「人工智能已经发展了相当长时间,它只是并不具备大多数人都能使用的用户界面。ChatGPT 所做的,是在已有若干年的人工智能技术上添加了一个可用的用户界面。」 李彦宏近期有过同样的表述:「怎么把这么酷的技术变成人人都需要的产品,这一步其实才是最难的。」 我们大可以抛开百度通稿中的其他信息,就思考「产品化」三个字就够了,正如互联网观察家冯大辉说的那样:「这两年来,百度有什么能让外界印象深刻的产品吗?客观的说,几乎没有。」 还有不到一周便是三月,用户就能体验到「产品化」的文心一言了,不知道这一个月的时间够不够百度解决不擅产品化的顽疾呢?至于商用,那就是更远的事。 社交媒体上非专业用户对文心一言的担心集中在——如果我问文心一言痔疮怎么治疗,它会不会引导我去大铁棍子医院找捅主任? 这是他们对医疗广告方面的近乎生理性的提防。 另一个担心便是中文语料的健康化和优质性了。坦白讲,如果你是ChatGPT 的深度用户,会发现他们在中文方面的表现比英文方面差多了,玩多了,甚至有点烦、有点下头。 那么,文心一言在这方面的体验会提升很多吗?坦白讲,我并不乐观。相信我,并不擅长提问,甚至关键词搜索思维根深蒂固的用户是基本盘,文心一言大概不会从他们身上获取到正反馈。 另外,另一个仓促上马的产品叫「元语智能」,小程序上线三天后就挂了,事发现场如下: 文心一言将会如何面对上述那种不可回避的问题呢? 实际上,再过五六年,百度因魏则西而背上的道德负担就会因互联网主力用户的迭代而不存在了,如果真的凭借文心一言咸鱼翻身的话,新一代的人们会把它视成华为一样的骄傲。 思考题:你看好百度的文心一言吗? 你还可以看: 男人说胡话,女人记住了 冲上台的中学生
文心一言能带百度起飞吗?
文心一言

文心一言能带百度起飞吗?

出品|虎嗅科技组 作者|齐健编辑|陈伊凡 头图|视觉中国 2022年2月22日,百度发布了截至2022年12月31日四季度及全年未经审计财报。 2022年百度核心收入为954亿元,与去年基本持平;在线营销收入为695亿元,同比下降 6%。云业务、自动驾驶等非在线营销收入为259亿元,同比增长22%。 百度近两年营收及增长情况 本期财报发布后的首个交易日,百度低开136.4港元,随后迅速攀升,盘中最大涨幅达1.42% 除了财报,最令人关注的莫过于AI大模型,大家在乎的是,文心一言到底怎么样了? “我们计划首先将文心一言嵌入百度搜索。我们相信,这将重塑信息的生成和呈现方式,有机会形成新的流量入口,帮助我们吸引更多的用户,并获得市场份额。”百度创始人、董事长兼首席执行官李彦宏在百度2022Q4暨全年财报电话会上表示,百度在AI方面的优势,将全面拉动业务增长。 在众多中国公司中,百度确实是从数据、资金和技术上最有实力研发大模型的公司之一。虽然很难从目前百度透露的信息中看出文心一言的能力到底如何,但从财报电话会中提到文心一言的次数可以看出百度对这款产品的重视,以及对大模型这个业务方向的坚定态度。 李彦宏在财报发布前的内部信中提到了文心一言的三个主要方向。首先是通过百度智能云对外提供服务;其次是文心一言大模型将搭载到Apollo智舱系列产品,使智能汽车具备领先的人车交互体验;最后是与小度的深度集成。 如今,且不论要实现这三个方向落地的挑战和前景如何?而摆在百度面前最为关键的问题是,大模型的商业化问题,以及有大模型加持的百度业务,能否迎来一个飞跃? 文心一言的商业化 大模型的商业化如何落地,一直是业界关注的问题。 OpenAI的早期模型GPT-2选择了开源,并由此不断迭代,优化模型能力,自GPT-3开始,提供了API的商业化服务,不过一直以来,OpenAI业务并不是很赚钱,一方面是因为大模型训练、迭代的技术成本很高,另一方面算力开支也非常巨大。直到现在,ChatGPT推出了会员订阅的付费模式,仍不能保证收费可以覆盖全部的回答成本。 不过,ChatGPT确实把OpenAI的大模型能力推到了更多的行业用户中,由此吸引来的API用户,以及基于Azure OpenAI的云服务,或许可以给OpenAI和微软找到新的增长点。 而对于百度来说,在学习OpenAI和微软商业模式的同时,中文或许是打出差异化的核心。 据百度消息,自文心一言确定推出以来,已有超400家企业宣布加入文心一言生态圈。 不过从目前来看,无论是400家,还是4000家,宣称接入文心一言都还只停留在一张公告,无法获悉这些企业和百度有没有进行过具体业务需求的对接讨论,毕竟文心一言还没发布,这款产品到底有多强大,谁也不知道,更不用说它是否能真的落地到企业的具体业务场景中了。 在尚不能确定文心一言能力的情况下,这400多家企业如何与百度具体沟通业务需求,技术细节也并不重要。主动宣称将接入文心一言的合作伙伴,更多地是希望表明一种拥抱AI,以最先进生产力赋能技术的态度。就像刚刚宣布2023年将全面拥抱ChatGPT就股价暴涨的BuzzFeed一样,先进的态度更受市场欢迎。 从目前来看,百度或许真的是中文互联网大模型能力最强的IT大厂,也确实很有可能首发类ChatGPT产品,但在通用大模型的研发和商业探索方面,还有很长的路要走。毕竟连ChatGPT也只是试验性地完成了与Bing的整合,尚未宣布非常明确赚钱的商业模式。 一位AI业内人士告诉虎嗅:“目前看,大模型肯定是未来AI的发展方向,但是大模型如何落地,商业价值怎样,保守估计还要5-8年的时间来检验。” 不过,李彦宏对此颇有信心,他在内部信中指出,“AI技术已经发展到一个临界点,各行各业都不可避免地被改变。中国AI市场即将迎来爆发性的需求增长,其商业价值的释放将是前所未有的、指数级的。” 相比ChatGPT来说,文心一言对中国用户有两个天然的优势。首先是合规性,一方面OpenAI目前对国内用户没有官方接口,另一方面ChatGPT的很多答案并不适合国内用户,因为它的训练数据多是以欧美国家的意识形态为准则的,在一些答案中可能会出现排华、反华倾向。 另外一点就是对中文的理解和训练。ChatGPT是基于GPT模型训练的LLM(Large Language Model,大型语言模型),而文心大模型则采用更适合中文的模型,以及适合中文的数据进行训练。李彦宏认为,百度掌握海量的中文数据,对中文、中国文化的理解更加深刻,而这正是百度研发LLM的重要优势之一。 大模型能带动云业务成长吗 百度智能云2022全年总营收177亿,李彦宏认为,“之前选择云厂商更多看算力、存储等基础云服务。未来更多会看框架、模型,以及模型、框架、芯片、应用之间的协同。这会根本性地改变云计算市场的游戏规则。”近年来,百度不断优化业务线,在智能云业务条线上,持续缩减低利润业务。 对IaaS(Infrastructure as a Service,基础设施即服务)和云解决方案中不太赚钱的业务进行大刀阔斧的改革。虽然百度智能云在国内云业务市场中的份额并不突出,不过在云市场竞争中,头部玩家覆盖更多的还是传统互联网服务业务以及游戏娱乐等业务,而百度智能云在这方面,则集中AI力量,服务B端的细化需求,抢夺一些头部玩家没有覆盖的SaaS(Software as a Service,软件即服务)和PaaS(Platform as a Service,平台即服务)领域。 百度提出,智能云提供四层人工智能全栈能力,从云基础设施到包含深度学习开源框架的深度学习平台,再到大模型和最终应用,帮助企业主和创业者在云上构建自己的模型和应用。这方面百度与微软的Azure OpenAI有很多相似之处,甚至两家的云都称为“智能云”。 不同的是 ,这部分业务对于微软来说是一个已经跑通的业务。 Azure...
无需完美,文心一言已然自证百度
文心一言

无需完美,文心一言已然自证百度

ChatGPT以火箭般的速度爆红,吹皱了中国科技圈和创投界的一池春水,引得无数人蠢蠢欲动。互联网大佬自掏腰包、带资建组,科技大厂摩拳擦掌、争先恐后,创业公司也不遑多让,甚至与AI不搭边的个别企业也借势营销,并因此而收获一波股价的大涨。 时隔一个多月再回看,在这场喧嚣与骚动当中,蹭流量和追风口者居多,真正躬身入局和实干者少之又少。目前来看,在全球大厂中,百度是第一个站出来的。过去几年,在国际科技博弈的宏观背景之下,科技的自立自强成为全民共识,因此当ChatGPT横扫中国舆论场时,国人无比期盼自己人能开发出同类产品,并与之掰掰手腕。而过去10年在AI领域投入超过1100亿元研发费用的百度,自然成为被关注的对象。在外界关注中,文心一言新闻发布会如约而至。3月16日新闻发布会上,百度基于大语言模型的生成式AI 产品“文心一言”开启邀请测试。首批用户即可通过邀请测试码,在文心一言官网体验产品。百度后续将陆续开放给更多用户,企业客户可以通过API接口调用服务,申请接入并体验文心一言的能力。人有我也有,人有我更优此前,各类人工智能产品普遍都是“人工智障”。而ChatGPT却出乎意料的聪明,能成为人们学习、工作、生活当中的实用工具,甚至取代部分学习、工作、劳动(当然,伦理问题另说)。AI从“人工智障”到“说人话”“干人事”的进阶背后,正是得益于大语言模型所具备的通用性和泛化性。但是,搞大语言模型不是请客吃饭,拼的是真刀真枪的强投入和硬实力,海量多维度的大数据、顶尖的算法、强劲的算力、出色的产品和丰富且深入的场景缺一不可。正因为如此,大语言模型的研发门槛极高。百度持续十年研发投入超过1100亿元,长期的投入让它在芯片层(高端芯片昆仑芯)、框架层(飞桨)、模型层(文心预训练大模型)和应用层(产品在诸多场景应用)实现了全栈布局,且拥有关键自研技术。基于这样的积累,百度在2019年便推出了知识增强的语义理解框架ERNIE(文心大模型)。经过多次迭代,文心大模型已具备较强的泛化能力和性能。根据IDC在2023年2月发布的《2022中国大模型发展白皮书》,在国内9家主流厂商的大语言模型当中,百度文心大模型位于第一梯队,产品能力、生态能力、应用能力全面领先。而此次百度基于大语言模型推出的生成式AI产品文心一言,具备包括文学创作、商业文案创作、数理推算、中文理解、多模态生成在内的多项通用能力,不仅做到了整体上的“人有我有”,还在某些局部做到了“人有我优”。01-能写能创作对于ChatGPT,大多数普通用户的直观感受,除了它什么问题都接得住并反馈相对得体的回答之外,便是拥有出色的写作能力,包括模仿知名诗人的风格创作诗歌,为一篇新闻稿件取标题,或者根据关键词写文章等等。作为中国市场第一个公开发布的基于大语言模型的生成式AI产品,文心一言在写作这样的通用能力上,并不落于下风。基于20多年搜索业务的积累,百度已建立起世界上最大的知识图谱,包含50亿实体、5500亿级事实,每天调用量超过400亿次。知识图谱以结构化的形式描述真实世界中的实体、属性、关系等,是机器认知世界的重要基础。由于训练数据包括万亿级网页数据,数十亿搜索数据和图片数据,百亿级语音日均调用数据,以及上述知识图谱,因此文心一言大模型在中文语言的处理上处于独一无二的位置,尤其是在自然语言问答和创意内容生成上有突出表现。因而,不管是文学创作,还是商业文本写作,都难不倒文心一言。在发布会现场,百度播放了文心一言的人机互动视频(百度创始人李彦宏解释,由于互动过程略微耗时,因此百度提前将互动过程提前录制成视频)。根据现场视频,在文学创作场景中,文心一言对科幻小说《三体》的核心内容进行了总结,提出了五个续写的建议角度,体现出对话问答、总结分析、内容创作生成的综合能力。同时,它准确回答了《三体》作者、电视剧角色扮演者等事实性问题。此外,面对“于和伟和张鲁一有哪些共同点”“于和伟和张鲁一谁更高”这类问题,文心一言也基于推理能力得出了正确答案。而在商业文案创作场景中,文心一言顺利完成了给公司起名、写Slogan、写新闻稿的创作任务。02-能逻辑推理逻辑思维能力是一个人最重要的能力之一。而在人工智能流域,逻辑推理能力属于认知智能层面,相较于计算智能和感知智能,认知智能更为复杂,因此也成为人工智能研究的重点领域。虽然OpenAI自己承认,新发布的GPT-4仍然会产生幻觉、生成错误答案,并出现推理错误,但它还是展现出出色的逻辑推理能力。比如当用户提问“格鲁吉亚和西亚的平均每日肉类消费量总和是多少?”,并要求GPT-4在回答前提供循序渐进的推理过程时,GPT-4便提供了解题的步骤,并且最终准确地给出答案。而受益于百度知识图谱,文心大模型也成为了全球首个知识增强千亿大模型。研究表明,数据规模越大,尤其是当参数达到千亿级,大模型就可能发生“智能涌现”,涌现出知识和逻辑推理能力。这也使得文心一言拥有了数理逻辑推算能力,在学习一些标准的解题思路后,能把问题拆分成多个子问题,一步步推理来解答,从而给出正确的答案、避免一些错误。现场视频中,面对“鸡兔同笼”这类锻炼人类逻辑思维的经典题,文心一言不仅能理解题意,而且还给出了正确的解题思路,进而像学生做题一样,按正确的步骤,一步步算出正确答案。03-能拟人化在人类社会,人际交流是通过声音、文字、图像等感知交互方式的融合实现与完成,比父子对话,双方不仅仅是听对方的声音、识别其中的文字,还会看对方的表情,甚至肢体动作。人工智能则是计算机通过对文本、图片、视频和音频等不同储存信息载体的认知和理解,结合环境因素来模拟人与人之间的交互方式。想让人工智能更理解人类世界,最优办法就是让AI成功理解多模态信息,并对此类信息形成分析、推理的逻辑和生成新信息的能力。OpenAI在北京时间3月15日凌晨举办的发布会中有这样一个场景:OpenAI联合创始人兼总裁Greg Brockman在草稿本上用纸笔画出一张非常粗糙的草图,拍照并上传,GPT-4仅用时10秒左右,就直接生成了网站代码。在发布会的演示中,GPT-4不仅是能分析汇总图文图标,甚至还能读懂梗图,指出梗在哪里、解释为啥好笑。但令人遗憾的是,GPT-4标榜的图片输入生成文本并未向公众开放,生成图片及视频能力也仅仅停留在展示页面。而文心大模型历经多次迭代,在更早之前也已经从单一的自然语言理解延伸到多模态,包括视觉、文档、文图、语音等多模态多功能,拥有出色的“拟人化”功能,并且在多项权威测评中都取得出色的成绩。比如跨模态文档智能大模型ERNIE-Layout,基于布局知识增强技术,融合文本、图像、布局等信息进行联合建模,在文档抽取、布局理解等5类11项任务刷新业界SOTA(在该项研究任务中,目前最好/最先进的模型);而作为业界首个融合场景图知识的多模态预训练模型,ERNIE-VIL在视觉常识推理、跨模态图像检索、跨模态文本检索等典型多模态任务中刷新了世界纪录。演示视频也展示了文心一言生成文本、图片、音频和视频的能力,其中在将文字转音频环节,它讲的是四川话。李彦宏表示,文心一言还能讲广东话、闽南话等。生成图片、音频能力,文心一言开箱即可使用。而视频生成成本较高,现阶段文心一言目前尚未对所有用户开放,不过未来会逐步接入。随着百度多模态大模型的迭代升级,文心一言的多模态生成能力无疑也将持续提升。04-更懂中文如果说到“人有我优”, 文心一言最显著的亮点和差异化优势,无疑还是它更懂中文。中文是世界上最难学习的语言之一,不仅汉字、词汇的数量远多于其他语言,而且每个字、词的意思也极为繁多。正如那个关于“意思”的段子,同样的词汇,在每一句话中,背后所蕴藏的含义都不一样。过去20多年,百度凭借着毫不逊色的技术实力和更懂中文的优势,长期占据着中文搜索引擎市场绝对霸主的王座。而作为扎根于中国市场的大语言模型推出的生成式AI产品,文心一言自然具备了中文领域最先进的自然语言处理能力。这种能力表现为对中文语言的理解,以及对中国文化的理解。截至目前,文心一言已刷新93个中文NLP(自然语言处理)任务基准,并多次登顶SuperGLUE全球榜(由谷歌DeepMind、Facebook研究院、纽约大学、华盛顿大学等多个权威机构联合发布的复杂语言理解任务评测),已在机器阅读理解、文本分类、语义相似度计算等60多项任务中实际应用。在现场展示中,文心一言正确解释了成语“洛阳纸贵”的含义、“洛阳纸贵”对应的经济学理论,还用“洛阳纸贵”四个字创作了一首藏头诗,全面展现了其对中文的理解、运用能力。当然,由于“母语”和“语言环境”是中文,文心一言对英文的处理能力,不如中文好。李彦宏也承认了这一点,不过现场并没有进行演示。李彦宏认为,从文心一言的表现看,某种程度上它具有了对人类意图的理解能力,回答的准确性、逻辑性、流畅性都逐渐接近人类水平。当然,他也承认,整体而言,这类大语言模型还远未到发展完善的阶段,有赖于通过真实的用户反馈而逐步迭代。不过,从基础通用的写作、创作能力,到进阶的逻辑推理推算能力,从单一的自然语言处理到多模态多功能,在整体上,文心一言并没有明显短板。而这,已经不容易了。为己,更利他毫无疑问,不管是大语言模型、生成式AI,还是由此而开发出的ChatGPT、文心一言,在技术上都足够酷,但相比于技术本身,技术的应用和影响才是更多人关心的话题。作为百度积累多年潜心打造的重大产品,文心一言首先将从整体上重塑百度的业务,为其带来全新的想象空间。先说搜索。随着大语言模型的问世和优化,搜索引擎将从“模糊搜索”升级为“精准推送”,创造全新的使用体验,带来显著的效率提升。用微软CEO Satya Nadella的话说,“搜索引擎迎来了新的时代”。李彦宏也直言,“这将重塑信息的生成和呈现方式,有机会形成新的流量入口,帮助我们吸引更多的用户,并获得市场份额。”而伴随着搜索的升级,百度整个内容生态也将发生质变。其次,文心一言也将与百度更多业务整合,从而激活整体业务的发展,重塑百度的想象空间。百度方面曾表示,作为基于百度智能云技术打造出来的大模型,文心一言将根本性地改变云市场的游戏规则——以前企业选择云厂商更多是看算力、存储等基础云服务,而以后企业对云的需求会更加聚焦智能服务,将更多关注框架、模型,以及模型-框架-芯片-应用这四层架构之间的协同。因此,借助文心一言的能力,云服务将从数字时代跃迁到智能时代,而智能化对各行各业效率的提升也将显著显现。此外,百度还将文心一言搭载到Apollo智舱系列产品,提升智能汽车的人车交互体验,与小度进行集成、让小度更加聪明和善解人意。过去,人工智能面临大规模落地应用的挑战,究其原因就在于开发门槛高、应用场景复杂多样、对场景标注数据依赖等问题突出。而如今,大语言模型凭借其优越的泛化性、通用性、迁移性,为人工智能大规模落地带来新的希望。IDC预测,未来,大模型将带动新的产业和服务应用范式,在深度学习平台的支撑下将成为产业智能化基座。对于文心一言,百度不仅仅将其定位为自身的模型内部产品,而是将其视为人工智能基座型的赋能平台,希望通过新技术帮助千行百业实现智能化变革、效率提升,获得更强的竞争优势。用李彦宏在发布会现场的话说,“文心一言让每一家公司可以离客户更近。”与行业头部企业联合研发融合行业数据、知识以及专家经验的行业大模型,是百度推进大模型深入产业落地的主要方式。目前,百度文心大模型已经在电力、金融、媒体等领域,发布了10多个行业大模型。作为AI底座,这些行业大模型在各行业帮助合作伙伴在产品创新、生产流程变革、降本增效等维度实现突破,产生价值。例如,百度与TCL合作的CV大模型,面向多个产线多个环节的工业质检提供AI基座能力,在TCL几个产线检测mAP指标平均提升10%+,训练样本减少到原有训练样本30%~40%,产线指标即可达到原有产线效果,新产线冷启动效率可提升3倍,产线上线开发周期降低30%。结语在面向百度全员的财报信中,李彦宏写道,“生成式AI和大模型的智能涌现,是全新的计算范式带来的新机会。这意味着,AI技术已经发展到一个临界点,各行各业都不可避免地被改变。”尽管在短短数月时间内,包括ChatGPT在内的大语言模型产品给世人带来了前所未有的震撼,AI还在持续快速迭代进化,不管对OpenAI、百度,还是对人工智能行业,亦或是整个数字经济来说,一切其实才刚刚开始。 特别策划
文心一言,走出“改变未来”第一步
文心一言

文心一言,走出“改变未来”第一步

作者|一橙出品|网易科技《态℃》栏目从宣布ALLIN大语言模型,到推出“文心一言”,百度没有让大家等很久。3月16日14时,百度在北京总部召开新闻发布会,正式启动基于百度新一代大语言模型的生成式AI 产品文心一言的邀请测试。从现场演示来看,文心一言的使用场景主要包含文学创作、商业文案创作、数理推算、中文理解和多模态生成。“全球大厂中百度是第一个发布的”,李彦宏坦承,这段时间不断有人问他为什么现在发布文心一言,百度是否真的ready?“从我自己在内测过程中体验到的文心一言的能力来说,(当前)确实不能叫作‘完美’”。李彦宏表示,这个时间点发布是因为有市场需求,百度的各个产品线都在等待这样的技术,客户也在等待,因而需要尽早推出。“这类大语言模型还远未到发展完善的阶段,有赖于通过真实的用户反馈而逐步迭代。”改变的本质,是通过行动摆脱原有的束缚,去开发更多的可能性,逼迫自己走出舒适区。百度和文心一言,迈出了“改变未来”的第一步。“文心一言,未来将越来越强大”当下,全世界互联网都刮起了一阵ChatGPT风,其中钻研AI能力十年的百度,以及其推出的大语言模型“文心一言”,被市场寄予最大厚望。目前来看,“文心一言”的基础能力还算扎实,作为国内完全自研的语言大模型,在自然语言处理、中文理解、文本生成和人机对话上有着相对成熟的表现。首先,文心一言具备文学创作能力,可以进行总结、分析、内容、检索,延伸至检索增强。值得注意的是,文心一言在许多专业测试中表现出“人类水平的性能”,甚至发生“智能涌现”,涌现出了知识和逻辑推理能力。发布会上,百度展示了文心一言的创意文本能力,大模型目前已经能够完成“起名字”、“写新闻稿”、“写标语”、“生成歌词”等操作。尤其是对于中文的理解,在内测过程中《态℃》栏目发现,文心一言正确解释了网络流行语“躺平”的含义,还能够劝诫年轻人,“应该注意不要将躺平视为逃避显示或自我解放的方式,而是应该积极面对生活,寻找解决问题的方法。”同时百度还公布了文心一言的邀请测试方案。3月16日起,首批用户可通过邀请测试码,在文心一言官网体验产品,后续将陆续开放给更多用户。此外,百度智能云即将面向企业客户开放文心一言API接口调用服务。3月16日起正式开放预约,搜索“百度智能云”进入官网,可申请加入文心一言云服务测试。百度打的是目标明确的仗,因为用户对于大语言模型的需求始终是清晰确定的,多模态一定是生成式AI一个明确的发展趋势。据百度介绍,文心一言的视频生成能力则因成本较高,现阶段还未对所有用户开放,未来会逐步接入。李彦宏也表示,“未来,随着百度多模态统一大模型的能力增强,文心一言的多模态生成能力也会不断提升。”对标ChatGPT,文心一言目前确实还存在着差距,但后发也有可能先制。百度作为国内AIGC的先行者,对比同类企业中已经占据了先发优势。百度首席技术官王海峰表示,文心一言,是新一代知识增强大语言模型,是在ERNIE及PLATO系列模型的基础上研发的。它的关键技术包括有监督精调、人类反馈的强化学习、提示、知识增强、检索增强和对话增强。前三项是这类大语言模型都会采用的技术,ERNIE和PLATO中也已经有应用和积累,在文心一言中又有了进一步强化和打磨;后三项则是百度已有技术优势的再创新,也是文心一言未来越来越强大的基础。李彦宏强调:“文心一言将建立起真实用户反馈、开发者调用和模型迭代之间的飞轮,效果会迅速提升,给你‘士别三日,当刮目相看’的惊喜。” 高强度的研发投入壁垒百度之所以敢于以身证道、勇于下注,正因深耕AI 10年坚持全栈部署,累计研发投入超过1000亿元,是全球大厂中极少数具有能支撑训练大语言模型的公司。对于百度而言,去做语言大模型这件事,并不存在着艰难的冷启动。百度一直坚持压强式、马拉松式的研发投入。2022年百度核心研发费用214.16亿元,占百度核心收入比例达到22.4%。2021年,百度总体研发投入强度为20.03%,位列民营企业500强第二。2020年,百度研发投入强度达18.22%,位列民营企业500强第一。在数据方面,搜索起家的百度,坐拥千亿级全网索引和覆盖超过50亿实体的中文知识图谱。这意味着,百度可以实现对大模型充分的训练和预测,进而使得其智能化水平不断进化。据介绍,文心一言大模型的训练数据包括万亿级网页数据,数十亿搜索数据和图片数据,百亿级语音日均调用数据,及5500亿事实的知识图谱。在算力和算法方向,由于AI大模型通常需要进行大量的计算和存储,因此AI企业往往需要在芯片等硬件方面投入巨资。生成式AI产品的数据量巨大,对于AI算力提出了更高的要求。去年底开始,百度智能云就在全面升级云服务能力。去年12月发布国内首个全栈自研AI基础设施“AI大底座”,今年2月升级AI研发运营一体化(MLOps)能力,今年3月百度阳泉智算中心完成升级。目前百度已拥有阳泉、徐水、定兴三个云计算中心,仅阳泉云计算中心可承载24万台服务器,为研发大语言模型提供了底层的硬件支持。百度还拥有国内规模最大的深度学习框架“百度飞桨”,为了支持千亿参数模型的高效分布式训练,百度飞桨在2021年4月专门研发了 4D 混合并行技术。截至2022年底,飞桨平台上已凝聚535万开发者、创建67万个AI模型,服务20万家企事业单位,位列中国深度学习平台市场综合份额第一。从算力、算法到数据,从高端芯片昆仑芯,到飞桨深度学习框架,百度在各个层面都早有关键自研技术,给百度文心一言提供了强大的研发投入壁垒。 走出“改变未来”第一步大语言模型对于人类而言究竟意味着什么?英诺天使基金合伙人王晟曾告诉《态℃》栏目,“今天的大模型正在无限接近通用目的技术,接近了印刷术,接近了蒸汽机,接近了电力,接近了芯片,接近了互联网。”可以想象,大模型作为技术底座支撑各个领域广泛的创新和发展,结果是会导致人类经济产生非线性的跃迁,或者说是大幅度的非线性增长。一个创造性的新世界,百度已经走出“改变未来”第一步,勇立新时代潮头。目前,大模型相关机会主要分为两个方向。第一是研发大模型,直接对标ChatGPT,比如做中国版ChatGPT,为下游企业提供API接口调用服务;第二就是将ChatGPT垂直应用到各个细分领域。随着文心一言的面世,首先改变的或许就是云市场的游戏规则:选云,看AI能力(而非算力、存储等)。未来用户对云厂商的需求更聚焦智能服务,看框架好不好、模型好不好,以及模型、框架、芯片、应用四层架构之间的协同,对原有商业模式的降维打击。同时,文心一言作为“基建”,还将为创业公司创造更大的创业空间。创业者应该会像当年围绕IOS和安卓做应用的架势,也围绕大语言模型做应用。李彦宏表示,对于大部分创业者和企业来说,真正的机会是,基于通用大语言模型,抢先开发重要的应用服务。就像移动互联网时代,最成功的商业产品不见得是安卓和IOS,而是基于安卓和IOS开发的微信、淘宝、抖音等各种超级应用。随着文心一言产品能力不断成熟,百度也将进入业绩提速的快车道。面向消费者,文心一言嵌入百度搜索,将引领搜索体验的代际变革。目前百度拥有6.48亿的月活,“文心一言”落地后,短时间内势必大幅拉升百度搜索MAU,吸引到更多的用户,产生新的流量入口,进一步优化用户体验,有望为百度搜索带来商业价值的快速增长。除搜索之外,百度旗下百度智能云、自动驾驶、小度等业务,也将通过文心一言的能力重新被赋能。未来,文心一言将与小度进行集成,升级小度智能设备和服务。面向2B业务,百度智能云提供了四层人工智能全栈能力,从云基础设施到包含深度学习开源框架的深度学习平台,再到大模型和最终应用。此外,百度还计划将文心一言整合到Apollo智舱系列产品等汽车解决方案中,让智能汽车具备领先一代的人车交互体验。语言大模型是人工智能的里程碑,更是分水岭。随着文心一言的推出,或将为百度焕发全新的生命力。 ▼ 欢迎进入粉丝群▼ 加好友备注【进群】
激活生态创新,“文心一言”面向开发者推出三大举措
文心一言

激活生态创新,“文心一言”面向开发者推出三大举措

日前,第九届WAVE SUMMIT深度学习开发者大会在京举办。百度集团副总裁、深度学习技术及应用国家工程研究中心副主任吴甜分享了百度自研大语言模型“文心一言”的最新进展,并重磅发布5个原生插件,面向开发者正式推出AI Studio星河大模型社区、插件机制以及文心大模型“星河”共创生态计划。 吴甜表示,“文心一言”自今年3月发布至今快速成长,熟练掌握的创作体裁超过200个,内容丰富度是发布初期的1.6倍,思维链长度是初期的2.1倍,知识点覆盖达到初期的8.3倍。 ▲百度集团副总裁、深度学习技术及应用国家工程研究中心副主任吴甜/图源 百度 “文心一言”通过插件机制进一步扩展能力。吴甜现场发布并演示了“文心一言”官方上线的5个原生插件:百度搜索、览卷文档(基于文档的交互)、E言易图(数据洞察图表生成)、说图解画(基于图片的交互)、一镜流影(文字转视频)。据介绍,目前在“文心一言”的网页版,可以同时使用3个插件,并通过大模型的能力进行理解、分析及调度,以适应需求场景。 现场演示来看,“文心一言”只需要5分钟就完成了原本大概需要一两周才能完成的工作,从行业调研、品牌分析选择,到产出宣传片,有了AI的辅助,工作效率得以大幅提升。不仅如此,文心一言还具备了超强的代码解释、改写、注释、生成能力。 据介绍,技术能力快步升级的“文心一言”正加快建设生态,推动大模型应用的发展。会上,吴甜重磅发布了“文心一言”面向开发者的三大生态举措,包括大模型社区、大模型插件机制与文心大模型“星河”共创计划。 吴甜透露,中国最大AI社区“飞桨AI Studio”(星河社区)现已凝聚了609万开发项目。伴随大模型的发展,百度正式推出星河大模型社区。目前,星河大模型社区已积累超300个大模型创意应用。 插件机制是拓展大模型能力边界及构建大模型应用生态的重要举措。百度基于“文心一言”的核心技术,为开发者提供低门槛的插件开发工具集(ERNIE Bot SDK),可以支持信息服务类、工具类、基于大语言模型创新类等多类型的插件开发。开发完成后,通过插件接入平台,更好地对接“文心一言”大模型,与应用层生态紧密结合。 “飞桨和文心大模型紧密结合,现在已经凝聚了800万开发者。我们和广泛的硬件伙伴、技术伙伴、数据伙伴一起持续共建生态,围绕最新推出的大模型插件机制,继续共建共创,高效支持千行百业的应用。”吴甜表示,“我们一起抓住大模型时代的机遇。” 上游新闻 杨昕华 编辑:吴嘉雯 责编:刘莹 审核:赵蕾 举报/反馈
实测!讯飞星火与文心一言图文生成谁更强?
文心一言

实测!讯飞星火与文心一言图文生成谁更强?

原创 黄心怡 科创板日报 收录于合集 #大模型 16个 在《科创板日报》记者实测中,讯飞星火的画风相对偏于“古典”与“写实”,文心一言作画则更显“卡通”与“抽象”特色。讯飞星火还开放了图生文的“识图”功能;文心一言目前似乎尚未开放识图功能,PC端没有相应选项。 记者 | 黄心怡 ▌讯飞星火VS文心一言:图文生成能力大比拼 原标题:《实测!讯飞星火与文心一言图文生成谁更强?》
“文心一言”上线前,我们去看了看它的心脏
文心一言

“文心一言”上线前,我们去看了看它的心脏

作者| 油醋 邮箱|zhuzheng@pingwest.com来源|未来科技力(smartechworld)阳泉,曾经在一个多世纪的重工业历史里贡献了18亿吨煤的中国重要矿区,现在只是山西中东部一座光环褪去的普通城市。入春之后,这里的日落逐渐被推往晚上七点,然后再过两个小时,沿街的餐馆开始歇息,整座城市早早入眠。刘慈欣前几天和《流浪地球2》来过这里,他和郭帆去阳泉一中做了一场路演。具有传奇色彩的娘子关电厂就在阳泉,刘慈欣在厂里以一个电工身份写出《三体》,阳泉一中是他母校。阳泉现在的名片,一张是刘慈欣,另一张是百度。两者只隔了五公里。一位百度员工也去看了那场刘慈欣的路演,结束后车向北开10分钟就可以回到工作地,占地360亩的百度智算中心。2012年8月,这个巨大的云计算中心开始动工,5个月后李彦宏宣布百度将开始一场贯彻至今的对于深度学习领域的基础研究。在那场将发展人工智能提到战略级高度的年会过去整10年后,28万台服务器已经先后被安置在园区里两组外形相似的巨大模组里,这里成为百度作为一家AI公司的心脏之一。此刻这颗心脏正在剧烈跳动。图源:新华社 杨晨光摄在阳泉智算中心模组一的某一层里,探访者见到了未来将会撑起“文心一言”的服务器组。备受瞩目的“文心一言”发布在即,这里已经连续多日进行持续到凌晨的压力测试。这座每秒可以完成400亿亿次浮点运算,亚洲目前最大的单体智算中心在本月完成升级,将与百度在江苏盐城等地的其他几座智算中心一起,为“文心一言”背后的算力基础设施提供支持。李彦宏此前表示,“文心一言”是基于百度智能云技术打造出来的大模型,它将根本性地改变云市场的游戏规则。在上月的AI+工业互联网高峰论坛上,百度智能云宣布“文心一言”将通过百度智能云对外提供服务,为产业带来AI普惠。百度集团执行副总裁、百度智能云事业群总裁沈抖在论坛上一定程度上解释了李彦宏的表述。沈抖表示,“云服务已从数字时代跃迁到智能时代,以前企业选择云厂商更多是看算力、存储等基础云服务,以后企业对云的需求会更加聚焦智能服务水平。”换言之,百度认为AI能力正在成为云服务基本的衡量标准。去年12月,百度发布国内首个全栈自研的AI基础设施“AI大底座”,百度阳泉智算中心同时正式对外开放。阳泉智算中心这个算力实体与AI的结合过程本身,即是百度对智能服务的理解。“AI大底座”是百度智算中心搭建的基石。构建起这个底座的是百舸异构计算平台和AI中台。百舸异构计算平台的核心组成是提供AI算力支持的百度自研AI芯片“昆仑芯”,AI中台则是指飞桨深度学习框架和百度文心大模型而言,打通百度的样本中心、模型中心、AI开发平台、AI服务运行平台,实现从数据存储,到AI模型的训练、生产、部署和测试的全链路、批量化生产。拆解出来的三者对应上了算力、算法和数据的AI开发全流程闭环。其中作为承上启下的深度学习框架飞桨,则是整个“AI大底座”中最核心的角色。图源:百度“飞桨有两个作用,一是作为开发算法的平台,二是连接算力和算法应用”,百度智能云云计算产品解决方案和运营部总经理宋飞表示,“而完全自研的深度学习框架飞桨,在适配调优和快速响应上会非常灵活”。2016年问世的深度学习平台飞桨在2022年已经稳居中国深度学习平台市场综合份额第一,超过Pytorch和TensorFlow。2022年11月底,飞桨平台上已凝聚535万开发者,服务20万家企事业单位,创建了67万个AI模型。百度AI大底座是百度各项AI技术的集大成者,通过AI底层技术的通用化和模块化,实现AI服务的规模化。企业在用云时,不再需要把大量时间和成本花在构建基础设施上,而可以通过AI大底座让芯片、大模型、深度学习框架等高门槛的技术的调用做到随用随取。百度从深度学习开始的AI长远布局,正在兑换成当下生成式AI浪潮中的技术和成本优势。对于一步慢步步慢的百度智能云来说,“文心一言”或许是最好的机会。据中国信息通信研究院发布的《云计算白皮书(2022年)》显示,百度云以9%市场份额位居第四,但包括阿里云在内的前三名云厂商几乎占据国内云服务市场的70%份额。阿里云背后淘宝和钉钉带来的稳定生态,腾讯云自身俱有巨大的泛娱乐生态,相比之下,百度智能云的优势在于AI。人工智能的背后是一场云的战争。“文心一言”有希望成为百度在2019年进一步升级“云+AI”战略后,一次推动云业务加速的契机。总的来说,配合“文心一言”的发布,百度智能云升级了三大配套云服务。一是为企业提供巨量高性能智能算力。除了阳泉智算中心的强大算力,“昆仑芯”2代目前也已在百度文心大模型的应用中广泛落地,并为各行各业的智能化升级提供AI算力支持。”百度智算中心也在持续创新计算架构,支持智算时代下企业不同业务场景的计算任务,提升企业的业务效率和创新能力。目前,百度智算中心已支持了文心预训练大模型、生物计算、自动驾驶等前沿AI应用。同时,基于自研创新技术可使PUE低至1.08,实现了高效节能的运行,从而降低客户的电费和运维成本。二是为企业提供新型AI基础设施,实现AI开发的降本增效。百度智能云通过对算力、框架、模型、AI应用进行封装,推出“百度AI大底座”。从高端芯片昆仑芯,到飞桨深度学习框架,到文心预训练大模型,再到AI应用,实现端到端的智能化闭环,AI技术的使用门槛被降低,变成像水电能一样供企业按需取用,大幅降低企业开发成本,提升效率。宋飞表示:“百度AI大底座可基于实际业务数据进行不断调优,使得资源利用率提升至70%,企业开发效率提升100%。”最后,百度智能云为企业提供了AI研发运营一体化(MLOps)能力,加速生成式AI等大模型产品快速产业落地。百度AI中台总监忻舟表示,百度AI大底座将面向企业提供一系列AI研发运维工具。企业在接入文心一言后,可低成本、便捷地完成与业务场景的适配与二次开发,通过AI工程化能力帮助产业突破AI落地的“最后一公里”。“文心一言”即将上线。它或许不只是一个答案,更是一把AI普惠的钥匙。· 文章版权归品玩所有,未经授权不得转载。· 发送关键词 转载、合作、招聘 到品玩微信公众号,获得相应信息。· 您亦可在微博、知乎、今日头条、百家号上关注我们。
比想象要快?百度版ChatGPT 应用“文心一言”要来了?
文心一言

比想象要快?百度版ChatGPT 应用“文心一言”要来了?

2 月 13 日消息,百度宣布将于 3 月正式推出旗下类 ChatGPT 应用“文心一言”,内测阶段似乎比想象中要快。 之前还有消息称,“文心一言”上线首站将直接接入百度搜索。据介绍,“文心一言”一些相关功能目前已陆续在百度搜索内上线或内测,包括多答案回复、智能生成等。 百度官方已于 2 月 7 日宣布其类 ChatGPT 项目的名字为“文心一言”,英文名 ERNIE Bot。目前该产品在做上线前的冲刺准备工作。 百度方面表示,ChatGPT 相关技术,百度都有。百度在人工智能四层架构中,有全栈布局。包括底层的芯片、深度学习框架、大模型以及最上层的搜索等应用。文心一言,位于模型层。 不知道“文言一心”上线后,对站长影响几何,对搜索影响几何?希望有所改善搜索环境吧。
智谱ChatGLM3震撼发布:超越想象的AI大模型,引领智能科技革命!
ChatGLM-6B

智谱ChatGLM3震撼发布:超越想象的AI大模型,引领智能科技革命!

原标题:智谱ChatGLM3震撼发布:超越想象的AI大模型,引领智能科技革命! 智谱AI在2023中国计算机大会(CNCC)上推出了全新的ChatGLM3基座大模型及其系列产品。这款最新的模型采用了创新的多阶段增强预训练方法,以实现更加充分的训练效果。 智谱AI的首席执行官张鹏亲自进行了新品发布,并通过实时演示展示了产品的最新功能。据介绍,通过使用更丰富的训练数据和优化的训练方案,ChatGLM3的性能得到了显著提升。与之前的ChatGLM2相比,MMLU提升了36%,CEval提升了33%,GSM8K提升了179%,BBH提升了126%。 此外,ChatGLM3还进行了针对GPT-4V的迭代升级,引入了一些全新的功能。其中包括具备多模态理解能力的CogVLM-看图识语义,在10余个国际标准图文评测数据集上取得了领先水平;代码增强模块Code Interpreter能够根据用户需求生成并执行代码,自动完成数据分析、文件处理等复杂任务;网络搜索增强模块WebGLM-接入搜索增强,能够自动查找互联网上与问题相关的资料,并在回答时提供参考的相关文献或文章链接。ChatGLM3的语义能力和逻辑能力得到了极大的增强。 此外,ChatGLM3还集成了自研的AgentTuning技术,激活了模型的智能代理能力,特别是在智能规划和执行方面,相较于ChatGLM2提升了1000%;同时还实现了对国产大模型的原生支持,包括工具调用、代码执行、游戏、数据库操作、知识图谱搜索与推理、操作系统等复杂场景。 除了以上功能,ChatGLM3还推出了可在手机上部署的端测模型ChatGLM3-1.5B和ChatGLM3-3B,支持多款手机品牌,包括vivo、小米、三星等,甚至支持移动平台上CPU芯片的推理,速度可达20 tokens/s。在精度方面,1.5B和3B模型在公开benchmark上的性能与ChatGLM2-6B模型相当。 通过最新的高效动态推理和显存优化技术,ChatGLM3的推理框架在相同硬件和模型条件下,相较于其他开源实现,如伯克利大学的vLLM和Hugging Face TGI的最新版本,推理速度提升了2-3倍,推理成本降低了一倍,每千tokens的成本仅为0.5分。这使得ChatGLM3成为当前最具竞争力和高效性能的大模型之一。 智谱AI的新一代ChatGLM3基座大模型以其强大的性能和丰富的功能,将为用户提供更加高效、智能的交互体验,并在各个领域展现出巨大的潜力。返回搜狐,查看更多 责任编辑:
适配更多国产芯片 智谱AI推出第三代基座大模型ChatGLM3
ChatGLM-6B

适配更多国产芯片 智谱AI推出第三代基座大模型ChatGLM3

原标题:适配更多国产芯片 智谱AI推出第三代基座大模型ChatGLM3 10月27日消息,智谱AI于2023中国计算机大会(CNCC)上,推出了全自研的第三代基座大模型ChatGLM3及相关系列产品,这也是智谱AI继推出千亿基座的对话模型ChatGLM和ChatGLM2之后的又一次重大突破。 此次推出的ChatGLM3采用了独创的多阶段增强预训练方法,使训练更为充分。评测显示,在44个中英文公开数据集测试中,ChatGLM3在国内同尺寸模型中排名首位。智谱AI CEO张鹏在现场做了新品发布,并实时演示了最新上线的产品功能。 ChatGLM3全新技术升级 更高性能更低成本 通过更丰富的训练数据和更优的训练方案,智谱AI推出的ChatGLM3性能更加强大。与ChatGLM2相比,MMLU提升36%、CEval提升33%、GSM8K提升179% 、BBH提升126%。 同时,ChatGLM3瞄向GPT-4V本次实现了若干全新功能的迭代升级,包括多模态理解能力的CogVLM-看图识语义,在10余个国际标准图文评测数据集上取得SOTA;代码增强模块Code Interpreter根据用户需求生成代码并执行,自动完成数据分析、文件处理等复杂任务;网络搜索增强WebGLM-接入搜索增强,能自动根据问题在互联网上查找相关资料并在回答时提供参考相关文献或文章链接。ChatGLM3的语义能力与逻辑能力得到了极大的增强。 ChatGLM3还集成了自研的AgentTuning技术,激活了模型智能体能力,尤其在智能规划和执行方面,相比于ChatGLM2提升了1000% ;开启了国产大模型原生支持工具调用、代码执行、游戏、数据库操作、知识图谱搜索与推理、操作系统等复杂场景。 此外,ChatGLM3本次推出可手机部署的端测模型ChatGLM3-1.5B和 ChatGLM3-3B,支持包括vivo、小米、三星在内的多款手机以及车载平台,甚至支持移动平台上CPU芯片的推理,速度可达20 tokens/s。精度方面1.5B和3B模型在公开benchmark上与ChatGLM2-6B模型性能接近。 基于最新的高效动态推理和显存优化技术,ChatGLM3当前的推理框架在相同硬件、模型条件下,相较于目前最佳的开源实现,包括伯克利大学推出的 vLLM 以及Hugging Face TGI的最新版本,推理速度提升了2-3倍,推理成本降低一倍,每千tokens仅0.5分,成本最低。 免责声明: 1、本号不对发布的任何信息的可用性、准确性、时效性、有效性或完整性作出声明或保证,并在此声明不承担信息可能产生的任何责任、任何后果。 2、 本号非商业、非营利性,转载的内容并不代表赞同其观点和对其真实性负责,也无意构成任何其他引导。本号不对转载或发布的任何信息存在的不准确或错误,负任何直接或间接责任。 3、本号部分资料、素材、文字、图片等来源于互联网,所有转载都已经注明来源出处。如果您发现有侵犯您的知识产权以及个人合法权益的作品,请与我们取得联系,我们会及时修改或删除。 返回搜狐,查看更多 责任编辑:
清华出品 | 超强AI大模型ChatGLM第3代整合包来了!
ChatGLM-6B

清华出品 | 超强AI大模型ChatGLM第3代整合包来了!

原标题:清华出品 | 超强AI大模型ChatGLM第3代整合包来了! 今天给大家带来一款令人兴奋的AI大模型,它就是清华出品的ChatGLM。 ChatGLM3简介 由清华系创业公司智谱AI推出的ChatGLM,是国内首个全线对标OpenAI产品线的公司。他们近期推出ChatGLM第三代,并且6B版本的大模型直接开源。 官方描述中,ChatGLM3在44个中英文公开数据集测试中排名首位,性能非常强悍。 ChatGLM3离线整合包来了 老规矩,大家自行在本地部署比较麻烦,所以我已经为大家制作好了一款离线整合包了,下载到本地解压即用! 大家下载离线整合包,解压到本地。 ①根据需要,选择不同的启动方式: 一键启动-CPU:适用于几乎任何电脑,但处理速度较慢(Windows 7不支持) 一键启动-GPU:适用于带英伟达独立显卡的电脑,建议2060显卡及以上 一键启动-综合demo:适用于带英伟达独立显卡的电脑 ②双击一键启动程序后,会打开一个命令提示窗口,项目会自动运行。加载成功后,会自动在浏览器打开项目主界面,如果没有自动打开的话,就自行复制以下链接,然后在浏览器打开“ http://127.0.0.1:7860/”。 以下是CPU运行: 以下是GPU运行: 运行成功后,就可以在浏览器看到项目主界面了。我们快速问它几个问题,发现ChatGLM3都能回答得比较快也比较正确。经典的,拿来给孩子辅导作业一点问题没有。🤣 以下是综合demo运行,这是我比较推荐的使用方法,也是官方提供的一个体验方法。综合demo提供了三种使用ChatGLM3模式: Chat:对话模式,该模式下可以与模型进行对话,回答更偏向于日常聊天。先来拿来试试做英语阅读理解题,回答也是一点问题没有。 工具:工具模式,可以通过模型内部自带的工具进行一些操作,比如调用获取天气的工具,然后询问当前某地的天气情况。 代码解释器:该模式下,模型可以在一个 Jupyter 环境中执行代码并获取结果,以完成复杂的任务。 好家伙,有种在本地就可以跑一个ChatGPT的感觉,关键还是免费的!清华毕竟是清华,出品的大模型还是比较强的👍🏻! 注意事项: ①该项目CPU和GPU(仅支持英伟达显卡,10G显存以上为佳)均可运行,但CPU运行较慢(CPU运行比较吃内存,需要16G以上内存)。 ②请确保解压到本地的路径不包含中文,不然可能会引起奇怪的适配问题。 关注并私信回复【ChatGLM3】,免费获得本文资源~返回搜狐,查看更多 责任编辑:
国产大模型ChatGLM3发布:用华为芯片推理速度提升超3倍,多能力对标GPT-4V钛媒体APP2023-10-27 17:28钛媒体APP2023-10-27 17:28
ChatGLM-6B

国产大模型ChatGLM3发布:用华为芯片推理速度提升超3倍,多能力对标GPT-4V钛媒体APP2023-10-27 17:28钛媒体APP2023-10-27 17:28

(图片来源:unsplash) 钛媒体App获悉,10月27日下午举行的中国计算机大会(CNCC2023)一场论坛上,阿里、腾讯投资的人工智能(AI)独角兽公司智谱 AI 正式发布全新自研的第三代基座大模型ChatGLM3系列。 新的ChatGLM3包括ChatGLM3-1.5B(15亿)、3B和6B参数三种,不仅在多模态理解、代码模块、网络搜索等能力上有所提升,而且相对最佳开源模型推理速度提升2-3倍。同时,基于集成自研AgentTuning技术,在智能规划和执行上比ChatGLM-2提升1000%。另外,ChatGLM3还利用华为昇腾生态,使算力推理速度提升3倍以上。 智谱 AI CEO张鹏表示,最新的自研模型ChatGLM3就是瞄准GPT-4V(多模态版的GPT-4)的跨模态能力,是ChatGLM全新一代的技术升级。 “对标OpenAI是智谱 AI 成立以来的目标。智谱 AI 致力于让机器像人一样思考,我们希望利用ChatGLM3通用基座模型能力,与合作伙伴一起共同的支撑千行百业,进入生成式 AI‘第二阶段’。”张鹏称。 据悉,智谱 AI 成立于2019年,脱胎于清华大学计算机系知识工程研究室团队,是清华大学知识成果转化的创业公司,瞄准 AI 大模型研发落地,公司CEO张鹏毕业于清华计算机系,总裁王绍兰为清华创新领军博士,清华大学计算系教授唐杰也参与研发中国最大规模预训练模型悟道2.0。 2020年,智谱AI 开始GLM预训练架构的研发,并训练了100亿参数模型GLM-10B;2021年利用MoE架构成功训练出万亿稀疏模型;2022年公布1300亿级超大规模预训练通用模型GLM-130B,并以此打造大模型平台及产品矩阵。 2023年,智谱AI 推出千亿基座的对话模型ChatGLM,并开源单卡版模型ChatGLM-6B等,部署于个人开发者和企业应用领域。今年6月,智谱AI 迭代出ChatGLM2,包括6B、130B、12B(120亿参数)、32B、66B等参数的模型,推理速度增长42%。据张鹏透露,相比GPT-4版的ChatGPT,ChatGLM2-12B、32B和66B性能分别提升16%、36%和280%。 当前,智谱 AI 开源模型在全球下载量已超过1000万次。同时,该公司也进行商业化探索,打造AIGC(生成式 AI)模型及产品矩阵,包括已获批上线的智谱清言、高效率代码模型CodeGeeX等。 融资方面,创立至今的四年多,智谱AI 共完成四轮融资。10月20日,智谱 AI 宣布年内累计融资额超过25亿元人民币,投资方包括社保基金中关村自主创新基金(君联资本为基金管理人)、美团、蚂蚁、阿里、腾讯、小米、金山、顺为、Boss直聘、好未来、红杉、高瓴等多家机构,而君联资本等部分老股东跟投,华兴资本担任独家财务顾问。 截至目前,智谱 AI 公司估值已超过100亿元,是国内 AI 领域独角兽企业。公司称,上述融资将用于基座大模型的进一步研发,更好地支撑行业生态。 此次,智谱 AI 发布的最新ChatGLM3通用基座大模型,在性能、推理、算力、Agent智能体能力、API商业化等方面均有提升。 其中,性能方面,ChatGLM3-6B在44个中英文公开数据集测试中国内同尺寸模型排名首位,相比ChatGLM2-6B,多个排名提升33%以上,GSM8K基准提升179%;推理方面,相较于目前伯克利大学开源的vLLM,速度提升2-3倍,推理成本降低一倍。 同时,新的模型还集成自研AgentTuning技术,激活模型智能体能力,在智能规划和执行方面比ChatGLM2提升1000%,支持工具调用、代码执行、游戏、数据库操作、知识图谱搜索与推理、操作系统等复杂场景,最新AgentBench基准测试上ChatGLM3-turbo和GPT-3.5接近;国产算力层面,以昇腾生态为例,ChatGLM3推理速度提升达3倍之多。 而在模型尺寸上,ChatGLM系列首次增加1.5B、3B这类小参数模型/张鹏称,主要原因是用户需求和算力成本之间的平衡,而且支持国产芯片的边缘侧模型ChatGLM3-1.5B可在笔记本电脑、手机、汽车等场景部署,速度达20 Tokens/s,精度上1.5B和3B模型与ChatGLM2-6B模型性能接近。 现场演示中,对标ChatGPT、基于ChatGLM3的 AI...