《搜索增强：大模型落地应用的关键所在》

界面新闻记者 | 李京亚

界面新闻编辑 |

大模型一周年之际，业界对各类工作的重要程度开始达成共识，比如多位开发者就公认，扩展大模型上下文长度是非常重要的工作，甚至会成为大模型落地的瓶颈，向量数据库则是另一个。

从ChatGPT的4K到GPT-4的32K，从MPT-7B的65K到Claude的100K，进入下半年，大模型的上下文窗口正变得越来越大。为在长文档问答、长文本摘要和RAG（检索增强生成）等多种应用场景中迅速落地，国内方面以百川智能、月之暗面、智谱AI为代表的大模型头部公司纷纷加入上下文窗口竞逐赛。到了年尾时段，王小川似乎又找到了另一种令大模型走向实用的方法，即与自己曾经最擅长的领域——搜索结合起来。

“今天大模型领域有三大问题要去解决，第一，幻觉要通过更大的模型去减少；第二，模型是静态的知识库，需要升级，之前像OpenAI GPT4停在2019年的数据，到现在最新更新到2023年4月份，停在那里不动；第三，今天尤其在垂直领域里面，做商业落地的时候，专业领域知识不足，每个企业都有自己的垂直数据，还有公开的网络数据，如何利用起来。”12月19日下午的一场交流会上，百川智能CEO王小川对界面新闻等媒体提出了对行业的预判，“光靠模型本身做得再大都是不够的，大模型+搜索才能构成完整的技术栈。 ”

简单说，王小川的意思是指，搜索增强才是大模型落地应用的关键。

当日下午，百川智能宣布开放基于搜索增强的Baichuan2-Turbo系列API，包含Baichuan2-Turbo-192K及Baichuan2-Turbo两款产品。在支持192K超长上下文窗口的基础上，百川还发布了搜索增强知识库的能力，可以让企业从私有化部署上把云端知识上传，做成一个外挂系统，跟Baichuan2系统做对接，这样，每个企业就可以定制自己的硬盘，做到即插即用。

百川智能的Baichuan2-192k大模型是10月30日发布的，其依靠高达192k的上下文窗口长度，居全球上下文窗口之首。此番发布的Baichuan2-Turbo-192K比之前的运行速度更快，效率精度更高。据悉，百川智能通过长窗口+搜索增强的方式，在192K长上下文窗口的基础上，将大模型能够获取的文本规模提升至5000万tokens（大模型处理文本时的最小单位），相当于1亿汉字。

百川智能联合创始人洪涛对记者解释称，百川的整个搜索增强知识库是可看作是一个外挂的硬盘，而上下文窗口在百川体系里相当于内存，“Baichuan2-192k可以一次容纳35万汉字，这次测试的知识库相当于5000w token，接近1亿汉字，整整高两个数量级，可以理解成现在的电脑内存是G级别，硬盘是T级别。 ”

在当前的时代背景下，用户可以通过官方网站来体验经过搜索增强和长窗口加强的通用人工智能。根据现场展示的结果来看，搜索增强技术的应用确实能够解决大型模型在实际应用过程中遇到的一系列问题。

在具体实施上，模型是先根据用户的提示词，在海量的文档中检索出最相关的内容，再将这些文档与提示词一起放到长窗口中，从而节省推理费用与时间成本。

在现场展示环节，百川智能的知识库表现出强大的能力，能够洞悉用户所输入信息背后的深层含义，从而准确地把握用户的真实需求。通过这种方式，知识库能够引导模型生成更为精确的答案，有效提升了解决问题的效果。

为精准理解用户意图，百川智能使用自研大语言模型对用户意图理解进行微调，已经有能力将用户连续多轮、口语化的提示词Prompt信息转换为更符合传统搜索引擎理解的关键词或语义结构。

王小川解释称，他们是通过稀疏检索和向量检索跟搜索的系统对接的方式，攻克了一部分技术难点，达到了语义理解方面的更好效果。首先，百川智能为了让向量模型实现更好的检索效果，融入了稀疏检索这样的模型，而这个“来自于此前搜索的多年积累”；其次，“用户需求是口语化、复杂的上下文相关的提示词prompt，而传统的搜索是基于一个关键词Prompt，这两个对齐是今天搜索长窗口要面临的问题。”

据百川智能技术联合创始人陈炜鹏介绍，当下，构建大模型知识库的主流方法是向量检索，但其效果过于依赖训练数据的覆盖，在训练数据未覆盖的领域泛化能力有明显折扣，本质上，向量数据库的检索方式性能较低，只适用于规模较小的企业团队，而稀疏检索对严格的语义、漂移和效率都有更好的表现，并且用到的正是搜狗过去做搜索引擎时基于符号的搜索方式。

目前，百川正在深入探索稀疏检索与向量检索并行的混合检索方式，并做到了将目标文档的召回率提升到了95%的成果，大幅领先于市面上绝大多数开源向量模型的80%召回率。

“召回率越高，准确度越高，这样搜索系统会使得大模型工作得更好。”王小川表示。

除此之外，百川智能在降低大语言模型虚幻性方面也借鉴了Meta所提出的链式验证（Chain-of-Verification，简称CoVe）方法。通过采用这种方法，百川智能能够将真实场景中的复杂用户问题分解为多个可并行处理的子结构问题。这样一来，大模型就能针对每个子问题进行有針對性的知识库搜索，从而提供更精確的答案。

“在今天尤其从国内来看，搜索增强是大模型走向实用的第一步，甚至是最关键的一步。”王小川坦言。

在博金大模型挑战赛中，百川智能搜索增强数据库展现了卓越的性能，其金融数据集（文档理解部分）、MultiFieldQA-zh和DuReader三个行业主流知识库测试集上的表现均优于GPT-3.5、GPT-4等业界顶尖模型。这充分展示了百川智能搜索增强数据库在处理复杂金融场景中的强大能力，有望成为未来金融知识服务领域的重要力量。

这场发布会表面推出了三款产品，实际上也是百川智能首次对外介绍公司的To B业务进展。王小川表示，百川的搜索增强最大意愿并非解决幻觉问题，而是解决可定制化，后者是To B商业路线的最大需求，“光靠一个API调用是不够的”，因为“企业有很多私有数据，如何为模型所用是关键，要通过大模型+搜索增强来实现。”

在关注B端市场的同时，百川智能并未忘掉C端的潜力。现场，王小川多次强调了对C端产品的重视，并透露公司正在积极研发多款超级应用，以进一步挖掘C端市场的潜力。

“C端不会做小”。他表示，搜索增强对B、C两端都很有用，而C端产品有时需要在公域上去做一做，“一方面跟腾讯有合作，一方面我们自己有传统的搜索积累，自研的搜索，尤其是在搜索里面怎么跟大模型对齐，做了非常多工作。”

据王小川透露，众多行业领军企业已经与百川智能展开合作，其中包括阿里巴巴和腾讯等知名企业。这些合作主要聚焦于百川智能的长上下文窗口和搜索增强知识库能力的深度整合，以此为基础，对各企业的业务进行智能化升级。