人工智能聊天机器人ChatGPT能力波动研究

根据 IT之家 9 月 7日的报道，一项来自斯坦福大学的研究发现，著名的人工智能助手ChatGPT 在短短几个月内的能力表现出现了波动。这一发现揭示了生成式人工智能在发展过程中可能存在的挑战和不确定性，对于未来人工智能技术的应用和发展具有重要的参考价值。

一项由斯坦福大学团队开展的研究，深入探讨了ChatGPT在短短几个月内，如何应对各种不同任务挑战的能力变化。研究结果显示，随着时间推移，ChatGPT的表现出现了一定程度的不稳定性。当前，ChatGPT主要有两个版本，一个是免费提供的GPT-3.5模型，另一个则是更为智能、响应速度更快的GPT-4版本。具体来看，研究人员发现在今年3月，GPT-4在解决数学问题和识别质数方面表现出色，准确率高达97.6%。然而，仅仅三个月后，其准确率便急剧下降至2.4%。与此同时，另一版本GPT-3.5却在准确率上有所提升，从最初的7.4%增长至86.8%。这项研究为我们提供了关于ChatGPT在不同阶段性能的宝贵信息，有助于我们更好地理解和掌握这一人工智能技术的应用和发展趋势。

在编程和视觉识别等领域也存在着类似于波动的现象。斯坦福大学的计算机科学教授詹姆斯·祖（James Zou）指出：“一旦我们调整了一个大型语言模型以提升其在特定任务的表现，可能会产生许多预期之外的影响，这可能会破坏该模型在其他任务上的性能。这个模型的回答方式存在各种相互依赖性，这可能导致我们观察到的某些不良现象。”

研究人员指出，ChatGPT 的性能准确性问题并未得到充分体现，其结果反而揭示了微调模型的诸多意想不到的后果。换言之，当我们对模型某一部分进行优化以提升某一特定任务表现时，往往会导致其他相关任务的性能受到一定程度的影响。然而，这种影响为何发生以及具体影响程度却难以判断，原因在于我们尚不了解 ChatGPT 的内部运行机制，且其源代码并非公开透明。

随着时间的流逝，研究者们观察到 ChatGPT 的回答不再像之前那样精确，同时它也不再展示推理过程的解释。

驱动 ChatGPT 等大型语言模型的性能变化，由于其运作模式的特点，研究起来具有一定的难度。为此，这个研究突出了观察和评估这些工具的重要性，旨在深入探讨其表现。此研究已在 arXiv 上发布，并正等待同行评审。值得一提的是，IT之家已为大家提供了相关链接，供大家参考学习。