Anthropic’sClaude聊天机器人成功扩展上下文窗口至75,000个单词,实现快速文本处理和更精准回答问题

站长之家5月15日消息:聊天机器人经常被忽视的一个限制是记忆能力。虽然这些系统的 AI 语言模型是基于 TB 级的文本上训练的，但它们在使用过程中能够处理的文本量（即输入文本和输出的组合，也称为「context window 上下文窗口」）是有限的。对于 ChatGPT 来说，大约是 3000 个单词。虽然有办法可以解决这个问题，但它仍然不是大量的信息。

作为一家人工智能初创公司，Anthropic 近日对其聊天机器人 Claude 进行了重大升级，将其实时的上下文窗口扩大到了惊人的 75,000 个单词。这一举措不仅远超出了普通聊天机器人的能力范围，更是达到了可以处理整本《了不起的盖茨比》小说的地步。为了验证 Chatbot 系统的性能，Anthropic 公司进行了一项实验，编辑了小说中的一个句子，并要求 Claude 找出这个改变。令人惊讶的是，Claude 在仅仅 22 秒内就成功地完成了这项任务，展示了其强大的理解和应对能力。

你或许已经察觉到，描述这些上下文窗口的长度并不精确。这主要是因为AI语言模型并非依据字符或单词数量来衡量信息量，而是以“token”作为单位，这与我们熟悉的数量概念并不完全对应。换言之， tokens 是用来衡量信息的语义单位，而不是字符或单词数量。深入思考一下，你会发现这一观点是有道理的。因为单词长度可能长或短，且其长度与意义复杂性之间并无绝对关联（例如，词典中词汇长度的最长定义通常是最短的词汇）。正因如此，使用“token”能更为准确地反映这一现实情况。也就是说，Claude的上下文窗口现在能够处理100,000个token，而之前的版本仅能处理9,000个token。相反，OpenAI的GPT-4能处理约8,000个token（请注意，这并非ChatGPT所提供的标准模型，若要使用需支付费用），而GPT-4的完整模型则可处理高达32,000个token。

目前，Claude 的新功能仅向其商业合作伙伴——Anthropic 提供，这些合作伙伴通过该公司的 API 接入到聊天机器人的服务中。关于该功能的定价方案，目前尚未公开，但可以肯定的是，它将会有一个显著的增长。由于处理更多的文本意味着需要进行更复杂的计算，因此，这将需要更多的计算资源。

这则消息揭示，AI语言模型的信息处理能力正逐步提升，这无疑将增强其应用价值。如Anthropic所言，阅读75,000个单词的文本对于普通人来说大约需要五小时，然而，通过Claude拓展的上下文窗口，该模型能在短时间内快速摄入、概括并分析一篇长篇文档。（需要注意的是，这并不能彻底解决聊天机器人经常捏造信息的问题。）更大的上下文窗口还能使系统实现更长时间的对谈。一个可能导致聊天机器人失控的因素是，当其上下文窗口被填满时，它们会遗失之前的对话内容，这也是Bing聊天机器人的对话限制仅为20个对话轮次的原因。拥有更多的上下文意味着有更大的对话可能性。

扩展的上下文窗口为许多应用场景提供了极大的便利。在处理海量文本任务时，聊天机器人的理解与回应用户问题的能力得以显著提升。它们能在更漫长的对话中保持上下文的连贯性，为用户提供更为精确和有針對性的解答与指引。举例来说，在客户服务领域，聊天机器人能够更加细腻地把握用户的问题与需求，进而提供更具针对性和个性化的支持。

虽然目前Anthropic的扩展上下文窗口功能仅限于其商业合作伙伴，但随着时间推移，此技术有望在更广泛的应用场景中发挥作用。随着AI语言模型的不断演进，其处理丰富信息的能力将对聊天机器人及其他自然语言处理系统产生重要影响。