独家|深创投,刚投了王小川的百川智能
Baichuan

独家|深创投,刚投了王小川的百川智能

#城市心跳计划# 今天,百川智能宣布已完成3亿美元的A1轮战略融资,阿里、腾讯、小米等科技巨头及多家顶级投资机构均参投了本轮融资,公司正式跻身科技独角兽行列,创下国内大模型初创企业最快晋升独角兽的记录。 投资界独家获悉,“本土VC之王”深创投也是本轮投资方之一。不久前,百川智能创始人王小川出席在深圳举行的深创投2023投资年会,以被投企业身份发表了主题演讲。此笔投资,极具意味——深圳正在重注AI产业。 说起来,创投圈对王小川并不陌生。1996年,王小川被点招入清华大学计算机系,研究生毕业后便加入搜狐。从搜狐到搜狗,王小川在互联网时代留下了不少记忆。直到今年4月,他官宣自己的大模型创业之旅,旨在打造中国版OpenAI。 今年以来,AI大模型成为了国内一级市场最火爆的赛道之一,挤满了形形色色的投资人。不止如此,城市也加入了——如深圳一般,国内几乎各大城市都悄悄投身这场未来超级产业之战。 第二次创业 王小川干出10亿美元估值 这是王小川的第二次创业。 出生于1978年,王小川从小学习优异,尤其在数学和计算机竞赛中成绩不俗。1990年,他以成都市第一名的成绩考入成都七中数学实验班,三年后又以全国数学联赛一等奖被保送入成都七中高中部。 即将升入高三的那个暑假,王小川偶然有机会亲身进入清华大学计算机系实验室,看到了研究生在里面做实验。“我第一感觉是高级、神秘,这就是科研在我心中代表的至高无上的方向。”王小川曾在清华计算机系的采访中回忆道。 这次近距离接触,最终引领王小川来到了清华计算机系。1996年,他凭借国际奥林匹克信息学竞赛金牌,被点招入清华大学计算机系,在清华先后获得工学学士、工学硕士、EMBA学位。 在本科期间,王小川加入华人青年社区ChinaRen创业项目实习,首次接触到了“搜索”,甚至开发了提问式搜索引擎“孙悟空搜索”。而随着次年搜狐收购了ChinaRen,王小川由此进入了搜狐。完成研究生学业后,他正式加入搜狐,先是担任高级技术经理,做出了第三代中文搜索引擎——搜狗,在2005年晋升为搜狐当时最年轻的副总裁。 2006年搜狗输入法面世,紧接着推出了搜狗浏览器,与搜狗搜索构成了“三级火箭”,让王小川和搜狗声名鹊起。2010年,搜狗从搜狐分拆单独运营,王小川成为搜狗公司CEO。时隔三年,腾讯以占比36.5%的股份、4.48亿美元战略入股搜狗,后者也在王小川的带领下于2017年登陆纽交所。 转折点发生在2020年7月,腾讯向搜狗发出全资收购要约,这笔11.8亿美元的收购案最终在2021年10月尘埃落定,王小川宣布卸任搜狗CEO。 直到今年4月,王小川再次亮相,官宣了自己的大模型创业之旅——和前搜狗COO、清华1998级校友茹立云联合创立人工智能公司——百川智能。据王小川介绍,百川本意是众多的河流汇集奔赴海洋,象征着众多数据、行业知识汇聚成为一个强大的智能体系,生生不息。 谈及新的创业,王小川直言,要比当年搜索引擎时候的成就感更大,现在做大模型与搜索的模型做了一定程度的结合,事情比原来更吸引人。“其实挺愉悦的,我们的进度是在一个快乐的状态。” 此后,王小川与百川智能动作迅速,成立半年,便接连发布baichuan-7B/13B,Baichuan2-7B/13B四款开源可免费商用大模型及Baichuan-53B、Baichuan2-53B两款闭源大模型。其中Baichuan-7B/13B两款大模型在多个权威评测榜单均名列前茅,累积下载量突破六百万次。Baichuan 2更是在各维度全面领先Llama 2,引领了中国开源生态发展。8月31日百川智能率先通过《生成式人工智能服务管理暂行办法》,是唯一一家今年创立的大模型公司。9月25日,百川智能开放Baichuan API接口,正式进军To B领域,开启商业化进程。 百川智能表示,Baichuan大模型,融合了意图理解、信息检索以及强化学习技术,结合有监督微调与人类意图对齐,在知识问答、文本创作领域表现突出。目前已有阿里云、腾讯云、火山引擎、浪潮、顺丰科技等超过300家合作伙伴使用Baichuan大模型。 随着融资消息发布,百川智能也宣布启动2024届校园招聘并发起“星耀计划”。本次校招将面向海内外学生,同时覆盖北上广深等多个城市多所高校,目前百川智能是2024届校园招聘规模最大的大模型初创企业。 据介绍,“星耀计划”是百川智能面向全球精英科技人才的专项校园招聘计划。岗位涵盖了自然语言处理、计算机视觉、强化学习、基础架构等多个人工智能关键技术方向,旨在寻找有技术理想,热爱AI领域的精英。 成立之初,王小川曾透露,公司早前已获得5000万美元启动资金,来自自己与业内好友的个人支持。而在今年8月初的一次媒体交流中,王小川再度表示百川智能第一次融资时,估值已超过5亿美元。如今,百川智能成立不到半年时间便跻身科技独角兽行列,创下国内大模型初创企业晋升独角兽速度之最。 AI崛起一支清华系 排队宣布融资 不只是王小川,眼下最火的AI大模型赛道,清华系可谓是一骑绝尘。 这当中,王慧文率先打破平静。今年年初,王慧文宣布进军人工智能领域,为自己参与创立的AI公司光年之外招揽人才,本人率先出资5000万美元。作为清华老同学,王兴鼎力支持,参与了光年之外的A轮投资,并出任董事。 期间,光年之外还与一流科技达成并购,后者成立于2017年,创始人兼CEO袁进辉同样为清华校友,是该校计算机系工学博士,曾任微软亚洲研究院主管研究员。但可惜的是,王慧文在6月底被曝出因病离岗,光年之外随后也被美团全资收购。 最新案例则是大模型创业公司月之暗面——由清华大学交叉信息学院、智源青年科学家杨植麟教授领衔,两位联合创始人周昕宇和吴育昕也均出身清华。投资界获悉,公司已获得红杉、今日资本、砺思资本、真格基金等知名机构近20亿元投资。 同样来自清华系的深言科技也备受关注。今年6月,公开信息显示,北京深言科技有限责任公司发生工商变更,股东新增腾讯旗下广西腾讯创业投资有限公司等。据了解,深言科技创始人兼CEO岂凡超为清华大学计算机系博士,是孙茂松教授的学生;联合创始人兼COO李潇翔则是清华大学电子系博士。 稍早前的4月份,面壁智能完成由知乎领投的数千万元天使轮融资,种子轮股东智谱AI继续跟投。这同样是一家清华系AI公司,创始团队来自于清华大学计算机系自然语言处理与社会人文计算实验室,联合创始人刘知远为清华大学计算机系长聘副教授,智源青年科学家;联合创始人以及CTO曾国洋为悟道·文源中文预训练模型团队骨干成员。 值得注意的是,本轮跟投方智谱AI同样出自清华,由清华大学计算机系知识工程实验室的技术成果转化而来。核心团队中,CEO张鹏毕业于清华计算机系,董事长刘德兵系中国工程院高文院士弟子,总裁王绍兰为清华创新领军博士,清华大学计算系教授唐杰也参与孵化。此前,智谱AI获得数亿元B轮融资,由启明创投、君联资本联合领投,身处大模型风口之上,公司估值水涨船高。 再早之前,聆心智能宣布完成Pre-A轮融资,由 SEE Fund 领投,老股东超额跟投。公司成立于2021年11月,孵化自清华大学计算机系,致力于打造“超拟人大模型”。联合创始人黄民烈师从于清华大学计算机系教授、博士生导师朱小燕,他也曾参与智源“悟道”大模型的研发。 为何清华系AI创业者备受投资人的青睐? 在同样是清华校友的源码资本合伙人王星石看来,清华系AI创业者拥有强烈的科技创新愿景,善于深度探究事物的本质和规律,践行上坚守务实态度。 这离不开清华的底层文化。王星石说,清华一直推崇务实与创新,秉持为国家持续输出优秀高科技人才的理念,鼓励创业创新。因此在整体文化和氛围的烘托下,更容易催生和激发创业意识。“当一些行业如AI有创业创新机会时,这些专业知识过硬,又有创新思维和创业精神的同学,就会抓住机会,从而冲出不少顶尖创业者。” 为何会是深圳? 1000亿人工智能基金群 深创投此次出手百川智能,并非偶然。 这背后是深圳重注AI产业的一抹缩影。其实自2017年以来,深创投及管理基金累计推动260余家科技企业签约落户深圳。尤其近年来,深创投也围绕深圳市委、市政府重大战略部署,加大服务“20+8”产业集群发展支持力度。“国家需要什么,深创投就投资什么。”一定意义上来说,“深圳需要什么,深创投也投什么。” 而如今,AI正成为深圳的一张“新名片”,更是坐拥两个“全国最多”——《中国人工智能产业图鉴》公布的数据显示,截至2022年底,深圳人工智能企业的存续数量达到63763家,全国最多;从2016年至2022年期间,深圳人工智能产业链相关企业增长总量为42598家,全国最多。...
百川智能与鹏城实验室开展合作 突破国产算力大模型长窗口技术毛晓彤纯欲白衬衫
Baichuan

百川智能与鹏城实验室开展合作 突破国产算力大模型长窗口技术毛晓彤纯欲白衬衫

  11月16日,百川智能与鹏城实验室宣布携手探索大模型训练和应用,合作研发基于国产算力的128K长窗口大模型“鹏城-百川·脑海33B”。这是国产算力大模型创新与落地的一次实践,对国产算力大模型发展具有积极示范作用。   百川智能携手鹏城实验室助力国产算力大模型创新   众所周知,训练大模型需要海量的算力,并且大模型参数数量的增长与算力的平方成正比。大模型性能的竞争,一定程度上是算力的比拼。在复杂多变的国际环境下,国内算力供给与需求之间的“鸿沟”持续扩大,国产化算力已经成为国内大模型企业的必要选择。   虽然国内诸多企业在通用AI芯片方面早有布局,在芯片量产、生态构建、应用拓展领域也取得了不错进展,但基于国产算力训练大模型,仍面临着生态建设、成本控制、能效比优化等阻碍。因此算力完全自主,仍需要芯片厂商、大模型企业、学术科研机构等多方共同努力。   鹏城实验室表示,鹏城实验室秉持“国产算力+自主大模型”的创新理念,依托“鹏城·脑海”开源联合体,广泛联合企业、高校和科研院所,致力于通过开源群智的合作模式共享资源,为千行百业插上人工智能的“翅膀”。百川智能是国内领先的大模型企业,自成立以来一直在推动大模型研发和开源生态建设,其开源和闭源模型在同等量级权威评测中都取得了优异成绩。双方在合作过程中能够充分发挥各自优势形成合力,更好地满足我国不断增长的智能化转型需求,助力中国人工智能产业快速崛起。   百川智能表示,百川智能希望通过开源、与合作伙伴共创等方式助力中国大模型创新,繁荣本土大模型生态。鹏城实验室作为国家战略科技力量的重要组成部分,在国产算力大模型研发和应用等方面一直处于国内领先位置。本次百川智能与鹏城实验室合作研发“鹏城-百川·脑海33B”长窗口大模型,是国产算力大模型技术创新和落地的一次突破。未来,百川智能将在技术、算力等诸多维度不断深化与鹏城实验室的合作,持续助力本土大模型创新发展。   国产算力最长上下文窗口,“鹏城-百川·脑海33B”率先实现国产算力技术突破   论坛上,百川智能和鹏城实验室展示了双方共同研发的“鹏城-百川·脑海33B”大模型。“鹏城-百川·脑海33B”的128K长上下文窗口基于“鹏城云脑”国产算力平台训练,未来可升级至192K,是基于国产算力训练的最长上下文窗口。   上下文窗口长度对模型理解和生成与特定上下文相关的文本至关重要,是大模型的核心技术之一。通常而言,更长的上下文窗口可以提供更丰富的语义信息、消除歧义,能够让模型生成的内容更准确、更流畅。   为了更好地提升“鹏城-百川·脑海33B”上下文窗口长度和模型整体性能,百川智能和鹏城实验室对模型进行了全流程优化。在数据集构建方面,采用精细的数据构造,实现了段落、句子粒度的自动化数据过滤、选择、配比,良好的提升了数据质量;在训练架构上,通过NormHead、max-Z-Loss、dynamic-LR等自研或业界领先的模型训练优化技术,对Transformer模块进行深度优化,确保模型收敛稳定的同时,全面提升了模型优化效率和最终效果;此外,还在全生命周期的模型工具集中,通过与北京大学王亦洲、杨耀东老师团队的合作,首创了带安全约束的RLHF对齐技术,有效提升了模型内容生成质量和安全性。   未来,双方将在国产算力大模型技术创新和模型落地等方面继续加强合作,并与相关领域的优势单位如北京大学、清华大学等开展协同创新,助力本土大模型在模型性能、技术创新方面持续突破,推动本土大模型进一步开源开放,为更多行业智能化转型提供帮助和支持。
可商用!百川智能开源baichuan-7B大语言模型,支持中、英文
Baichuan

可商用!百川智能开源baichuan-7B大语言模型,支持中、英文

专注AIGC领域的专业社区,关注OpenAI、百度文心一言等大语言模型(LLM)的发展和应用落地,关注LLM的基准评测和市场研究,欢迎关注! ‍近日,搜狗创始人王小川创立的百川智能公司,宣布开源了70亿参数的大规模预训练语言模型——baichuan-7B。baichuan-7B基于Transformer 结构,支持中英双语、可商用,上下文窗口长度为4096,在大约1.2万亿 tokens上进行了训练。开源地址:https://github.com/baichuan-inc/baichuan-7BHugging Face:https://huggingface.co/baichuan-inc/baichuan-7Bbaichuan-7B在三个最具影响力的中文评估基准中,在同等参数量级大模型中的综合评分十分亮眼:微软研究院发起的评测标准 AGI Eval中,baichua -7B 综合评分34.4,在中国高考、司法考试、SAT、LSAT、GRE 等考试中发挥很好,领先于LLaMa-7B、Falcon-7B、Bloom-7B 以及 ChatGLM-6B 等不少竞争对手;C-Eval——由上交、清华、爱丁堡大学三个顶级院校联合创建的评测标准中,baichuan-7B 发挥同样出色。在覆盖了52个学科的测评中,baichuan-7B 获评34.4分,在同量级产品中排名第一。在跑分中,baichuan-7B 的表现甚至比起一些参数量级更大的模型更优秀,其中有些参数甚至是baichuan-7B 的四倍以上。榜单上,比起130亿参数的GLM-130B 一个月前的测试结果, baichuan-7B 的综合评分也仅相差1.2分。在复旦大学研究团队所创建的 GAOKAO 评测框架中,baichuan-7B 在高考题目上的表现同样惊艳,不仅评分在同参数量级的模型中拔得头筹,并且领先第二名近8分。训练数据baichuan-7B原始数据包括开源的中英文数据和自行抓取的中文互联网数据,以及部分高质量知识性数据。参考相关数据工作,频率和质量是数据处理环节重点考虑的两个维度。百川智能基于启发式规则和质量模型打分,对原始数据集进行篇章和句子粒度的过滤。在全量数据上,利用局部敏感哈希方法,对篇章和句子粒度做滤重。经过不断的调整和多轮测试,最终确认了一个在下游任务上表现最好的中英文配比。百川智能使用了一个基于自动学习的数据权重策略,对不同类别的数据进行配比。分词百川智能参考学术界方案使用 SentencePiece 中的 byte pair encoding (BPE)作为分词算法,并且进行了以下的优化:1)目前大部分开源模型主要基于英文优化,因此对中文语料存在效率较低的问题。百川智能使用2000万条以中英为主的多语言语料训练分词模型,显著提升对于中文的压缩率。2)对于数学领域,百川智能参考了 LLaMA 和 Galactica 中的方案,对数字的每一位单独分开,避免出现数字不一致的问题,对于提升数学能力有重要帮助。3)对于罕见字词(如特殊符号等),支持UTF-8-characters 的 byte 编码,因此做到未知字词的全覆盖。4)百川智能分析了不同分词器对语料的压缩率,可见百川智能的分词器明显优于 LLaMA, Falcon 等开源模型,并且对比其他中文分词器在压缩率相当的情况下,训练和推理效率更高。模型结构baichuan-7B基于标准的 Transformer 结构,百川智能采用了和 LLaMA 一样的模型设计。 位置编码:rotary-embedding是现阶段被大多模型采用的位置编码方案,具有更好的外延效果。虽然训练过程中最大长度为4096,但是实际测试中模型可以很好的扩展到 5000 tokens。...
百川智能发布Baichuan-13B,高性能、完全开源、免费可商用;「时代星光」&「高创保安」完成新一轮融资| 极新企服早报
Baichuan

百川智能发布Baichuan-13B,高性能、完全开源、免费可商用;「时代星光」&「高创保安」完成新一轮融资| 极新企服早报

“变化不是威胁,而应该把它看作机会。——德鲁克” 文|云舒 编辑 | 小白 出品|极新  ▌IPO/投融资 1、空天地一体化AI无人机指控系统研发商「时代星光」完成数千万人民币A+轮融资,投资方为天演基金。 时代星光是一家空天地一体化AI无人机指控系统研发商,自主研发生产军工级无人机、通信指挥车、无线图传等三大核心产品,为应急救援、公共安全、国防军事等领域提供空地一体化产品及系统解决方案;公司凭借“车载无人机、无线通信、人工智能、飞控算法、空气动力、材料科学”等方面的技术优势,于2020年成功研制了全球第一套“空天地一体化移动指控系统”。 2、智慧安全服务提供商「高创保安」完成B轮融资,投资方为投控东海。 高创保安是一家智慧安全服务提供商,基于人工智能、安防科技、云平台与大数据分析等技术,来为用户提供封闭式小区管理、平安商业街、人脸识别系统、“地网工程”综合安全等服务。 3、芯片半导体制造商「芯聚德科技」完成天使轮融资资,投资方为中芯聚源,西安天启,天水玖盛,上海梓石。 芯聚德科技是一家集研发、生产、销售和技术服务于一体的科技型、IC载板制造企业,公司的目标是构建技术研发、产品生产、客户服务平台、打造业内专家团队,形成IC载板综合解决方案能力,为客户提供最优质服务,实现集成电路关键材料自主可控,人才培养、学科建设、推进集成电路产业链延链、打造成广德集成电路封测产业聚集区的建设进程,促进区域经济发展。 4、产业园数字化新基建服务商「华震科技」完成千万级人民币Pre-A轮,投资方为华算邦集团,顺鼎物联,环旭置业,华家投资。 华震科技专注打造产业园数字化新基建,通过旗下产品为产业园运营管理的招商、物管、风控、建设各环节提供全流程的数字化闭环解决方案,助力物业管理公司、业主、开发商和公有资产管理公司等提升园区运营效率,推动区域招商引资。 5、车联网智能硬件整体解决研发商「掌锐电子」完成B轮融资,投资方为视源投资。 深圳市掌锐电子成立于2014年,专注于车联网智能硬件整体解决方案的研发,是吉利、长安和上汽通用五菱等车厂前装智能座舱基础技术平台和重要合作伙伴,也是MTK汽车电子最大客户。围绕智能座舱市场,采用车规芯片,提供4G/5G智能座舱核心板、网约车智能监控等软硬件一体化的全套解决方案。公司技术与研发团队凭借多年积累的领先技术与行业资源,结合集成4G和5G的车规级芯片平台,至今已为多家主流自主汽车品牌和头部网约车公司成功定制过多个高品质的项目,总出货量超400万套。  ▌活动事件 1、百川智能发布Baichuan-13B 7月11日,百川智能正式发布参数量130亿的通用大语言模型Baichuan-13B-Base、对话模型Baichuan-13B-Chat及其INT4/INT8两个量化版本。据介绍,Baichuan-13B中英文大模型集高性能、完全开源、免费可商用等于一身。 2、英特尔第二代Gaudi深度学习加速器在中国市场上市 英特尔AI产品战略暨Gaudi2新品发布会在京举行。会上,英特尔正式于中国市场推出第二代Gaudi深度学习加速器——Habana® Gaudi®2。目前,英特尔正与浪潮信息合作,开发并发售基于Gaudi2深度学习加速器的浪潮信息AI服务器NF5698G7。基于英特尔Gaudi2 AI加速器,新华三正与英特尔合作,开发适合大模型训练和推理的高性能AI服务器。 3、科大讯飞:有信心成为国内大模型第一批厂商,下半年all in星火大模型 7月10日,科大讯飞举行投资者说明会。会上,公司董事会秘书、副总裁江涛对星火大模型商业落地以及研发投入等问题进行了解答和说明。此次说明会上,科大讯飞多次强调对星火大模型的坚定投入。“当前认知智能大模型带来人工智能产业全新机遇,讯飞会保持对科技创新的定力和在关键战略方向上的坚决投入。”江涛表示,“下半年公司会all in大模型,在继续加大研发投入力度的同时,我们会加快星火大模型的商业落地,加快大模型的自我造血,保障公司有稳健的现金流。” 4、中国软件国际:与华为云签署盘古大模型合作协议 中国软件国际(00354.HK)发布公告,中软国际作为华为云首批同舟共济合作伙伴,与华为云签署盘古大模型合作协议,并共同探讨基于华为云盘古大模型,如何在数据训练强化、算法、服务交付及应用解决方案领域展开合作,双方致力于以产业场景为先导,实现AI 技术的行业落地与规模化应用,共同重塑行业价值。  ▌好文推荐 B端软件的壁垒到底在哪里? 新闻要上极新早报,请给「极新」公众号后台留言“1”,扫码添加微信,发送您的新闻,选题符合早报筛选标准(1.真实,2.发生时间在一周内,3.TO B企业的新品发布内容优先),我们将第一时间通知您,并在极新所有社群进行推广。找人才、找客户、找投资也可以留言,如合适公开,我们将免费发布,传递给3000极新社群的CXO们。 更多干货分享敬请关注我们的公众号与视频号~超多精彩对话内容等待您的解锁!  关于极新: 极新是垂直于企服、硬科技的创投和行业研究媒体,致力于陪伴和记录科技企业进步和产业成长。已与多家互联网平台和创新企业深度对话和合作,包括华为云、飞书、钉钉等平台企业,以及容联云通讯、神策数据、薪人薪事、微步在线、创客贴、诸葛智能、魔学院、句子互动等高成长公司。 本文原创:极新(jixintech) 作者联系方式vx:15611825188 转载或商务15652929445 文章精选 法务嵌入GPT,大模型的小应用让谁紧张? 文心一言,开幕? 工业软件上云,真的可以弯道超车吗? 视频SaaS能扛起企业级市场大旗吗?...