斯坦福大学研究揭示：AI聊天机器人ChatGPT能力波动明显

根据 IT之家 9 月 7日的报道，一项来自斯坦福大学的研究发现，著名生成式人工智能（AI）聊天机器人 ChatGPT 在短短几个月内的性能表现出现了波动。这一发现揭示了 AI 技术在实际应用过程中可能面临的不稳定性，对于未来 AI 的发展和优化具有重要意义。

一项由斯坦福大学团队发起的研究，对ChatGPT在短短几个月内的各项任务处理能力进行了深入的探讨。研究结果显示，随着时间推移，ChatGPT的表现出现了一定程度的不稳定性。当前，ChatGPT主要有两个版本，一个是免费提供的GPT-3.5模型，另一个则是更为智能、速度更快的付费GPT-4版本。具体来看，研究人员发现在今年3月，GPT-4在解决数学问题和识别质数方面表现出色，准确率高达97.6%。然而，仅仅三个月后，其准确率便急剧下降至2.4%。与此同时，GPT-3.5的表现则相对稳定，从最初的7.4%准确率提升至86.8%。这项研究为我们提供了关于ChatGPT在不同阶段表现的重要信息，有助于我们更好地理解和利用这一强大的人工智能工具。

在编程和视觉识别等领域也存在着类似于波动的现象。斯坦福大学的计算机科学教授James Zou指出：“一旦我们调整了一个大型语言模型以提升其在特定任务上的性能，可能会产生许多预期之外的影响，这可能会削弱该模型在其他任务上的性能。值得注意的是，这个模型的回答方式存在各种相互关联的依赖性，这可能导致我们观察到的某些负面现象。”

研究人员指出，ChatGPT 的性能准确性问题并未得到充分体现，其结果反而揭示了微调模型的诸多意想不到的后果。换言之，当我们对模型某一部分进行优化以提升某一任务表现时，往往会导致其他相关任务的性能受到一定程度的影响，而这种影响是否显著，却难以判断。这主要是因为我们尚不了解 ChatGPT 的内部运行机制，且其源代码尚未公开，因此无法对其进行深入研究。

随着时间的流逝，研究者们观察到 ChatGPT 的回答不再像之前那样精确，同时它也不再展示推理过程的解释。

驱动 ChatGPT 等大型语言模型的性能变化，由于其运作模式的特点，研究起来具有一定的难度。为此，这个研究突出了观察和评估这些工具的重要性，旨在深入探讨其表现。此研究已在 arXiv 上发布，目前正等待同行评审。我国 IT 媒体网站 IT之家也对这项研究进行了报道，并提供了一定的链接支持。