AI聊天机器人安全性：对抗性攻击与防护策略

打开凤凰新闻，查看更多高清图片

图片来源@视觉中国

随着大模型技术的普及，AI 聊天机器人已成为社交娱乐、客户服务和教育辅助的常见工具之一。

然而，不安全的 AI 聊天机器人可能会被部分人用于传播虚假信息、操纵舆论，甚至被黑客用来盗取用户的个人隐私。WormGPT 和 FraudGPT 等网络犯罪生成式 AI 工具的出现，引发了人们对 AI 应用安全性的担忧。

上周，谷歌、微软、OpenAI 和 Anthropic 等公司联合创建了一个名为“前沿模型论坛”（Frontier Model Forum）的新行业机构，旨在推动人工智能系统在安全和负责任方面的创新发展。该论坛的主要目标是深化对人工智能安全的研究，并为行业制定最佳实践和标准。此外，论坛还将促进政策制定者和行业之间等信息共享，以期在人工智能领域实现更广泛的安全和负责任发展。

那么，问题来了，他们自家的模型真的安全吗？

近日，来自卡内基梅隆大学、Center for AI Safety 和 Bosch Center for AI 的研究人员便披露了一个与 ChatGPT 等 AI 聊天机器人有关的“大 bug”——通过对抗性提示可绕过 AI 开发者设定的防护措施，从而操纵 AI 聊天机器人生成危险言论。

当前热门的 AI 聊天机器人或模型，如 OpenAI 的 ChatGPT、谷歌的 Bard、Anthropic 的 Claude 2 以及 Meta 的 LLaMA-2，都无一幸免。

图｜通过对抗性提示可绕过 4 个语言模型的安全规则，引发潜在有害行为

具体而言，研究人员发现了一个 Suffix，可将其附加到针对大型语言模型（LLMs）的查询中，从而生成危险言论。相比于拒绝回答这些危险问题，该研究可以使这些模型生成肯定回答的概率最大化。

在面对“如何窃取他人身份”的问题时，AI聊天机器人的反应却表现出明显的差异。在开启“添加对抗性后缀”之前，它的回答显得相对温和，然而一旦激活此功能，其回应则变得极具攻击性。这种变化揭示了AI在应对此类问题时，可能存在一定的道德边界和限制。

图｜开启 Add adversarial suffix 前后的聊天机器人回答对比

AI聊天机器人的智能水平和知识范围虽然有限,但仍然存在被编程为产生不当言论的风险。如果不加以适当的监管和控制,AI聊天机器人可能会被用于传播各种形式的恶意信息,例如制造和传播虚假信息、煽动暴力、散布歧视和仇恨言论等等。更令人不安的是,AI聊天机器人可能会被用于收集和分析敏感数据,例如个人身份信息、医疗信息和财务信息等,给个人造成严重的伤害和损失。因此,必须采取有效的措施来确保AI聊天机器人的安全性和可控性,避免其被用于不当用途。

对此，参与该研究的卡内基梅隆大学副教授 Zico Kolter 表示，“据我们所知，这个问题目前还没有办法修复。我们不知道如何确保它们的安全。”

研究人员在发布这些结果之前已就该漏洞向 OpenAI、谷歌和 Anthropic 发出了警告。每家公司都引入了阻止措施来防止研究论文中描述的漏洞发挥作用，但他们还没有弄清楚如何更普遍地阻止对抗性攻击。

OpenAI 的发言人 Hannah Wong 最近发表声明称：“我们始终致力于提升我们的模型在对抗性攻击场景下的稳健性。这其中包括开发检测异常活动模式的能力，不断通过红队测试模拟潜在威胁，并采用一种通用且具有弹性的方法来修补新发现的对抗性攻击所揭示的模型漏洞。”

谷歌发言人格拉汉 (Elijah Lawal) 发布了一则声明，阐述公司在测试模型并发现潜在弱点方面所采取的一系列措施。尽管这种问题在大型语言模型 (LLM) 中普遍存在，但我们已经在我们的 Bard 模型中采取了关键的防护措施。我们将继续对这些问题进行改进，以确保我们的技术能够持续发展。

在谈到Anthropic的临时政策和社会影响主管Michael Sellitto时，他表示：“我们的研究重点在于增强模型的抗提示和抗‘越狱’能力，这是一个备受关注的领域。我们的目标是通过提升基本模型的防护性能，使其变得更加安全可靠。同时，我们还致力于开发新的防御机制，以形成更 robust 的防护体系。”

图｜4 个语言模型生成的有害内容

对于这一问题，学界也发出了警告，并给出了一些建议。

麻省理工学院计算学院的教授 Armando Solar-Lezama 表示，对抗性攻击存在于语言模型中是有道理的，因为它们影响着许多机器学习模型。然而，令人惊奇的是，一个针对通用开源模型开发的攻击居然能在多个不同的专有系统上如此有效。

Solar-Lezama 认为，问题可能在于所有 LLMs 都是在类似的文本数据语料库上进行训练的，其中很多数据都来自于相同的网站，而世界上可用的数据是有限的。

“任何重要的决策都不应该完全由语言模型独自做出，从某种意义上说，这只是常识。”他强调了对 AI 技术的适度使用，特别是在涉及重要决策或有潜在风险的场景下，仍需要人类的参与和监督，这样才能更好地避免潜在的问题和误用。

普林斯顿大学的计算机科学教授 Arvind Narayanan 谈道：“让 AI 不落入恶意操作者手中已不太可能。”他认为，尽管应该尽力提高模型的安全性，但我们也应该认识到，防止所有滥用是不太可能的。因此，更好的策略是在开发 AI 技术的同时，也要加强对滥用的监管和对抗。

担忧也好，不屑也罢。在 AI 技术的发展和应用中，我们除了关注创新和性能，也要时刻牢记安全和伦理。

只有保持适度使用、人类参与和监督，才能更好地规避潜在的问题和滥用，使 AI 技术为人类社会带来更多的益处。