《斯坦福大学研究发现ChatGPT能力波动：微调模型带来意外后果》

根据 IT之家 9 月 7日的报道，一项来自斯坦福大学的研究发现，著名生成式人工智能（AI）聊天机器人 ChatGPT 在短短几个月内的性能表现出现了波动。这一发现揭示了 AI 技术在实际应用过程中可能面临的不稳定性，对于未来 AI 的发展和优化具有重要意义。

一项由斯坦福大学团队发起的研究，对ChatGPT在短时间内应对各种任务的能力进行了深入探讨。研究结果显示，随着时间推移，ChatGPT的表现出现了一定程度的不稳定性。当前，ChatGPT主要有两个版本，一个是免费提供的GPT-3.5模型，另一个则是更为智能、响应速度更快的GPT-4版本。具体来看，研究人员发现在今年3月，GPT-4在解决数学问题和识别质数方面表现出色，准确率达到了97.6%，然而在三个月后的6月份，其准确率却下降至2.4%。相反，GPT-3.5 model在准确性上的提升上更为显著，从最初的7.4%提高到了86.8%。这项研究为我们提供了关于ChatGPT在不同阶段表现的重要信息，有助于我们更好地理解和应用这一人工智能技术。

在编程和视觉识别等领域也存在着类似于波动的现象。斯坦福大学的计算机科学教授詹姆斯·祖（James Zou）指出：“一旦我们调整了一个大型语言模型以提升其在特定任务的表现，可能会产生许多预期之外的影响，这可能会破坏该模型在其他任务上的性能。这个模型的回答方式存在各种相互依赖性，这可能导致我们观察到的某些不良现象。”

研究人员指出，ChatGPT 的性能准确性问题并未得到充分体现，其结果反而揭示了微调模型的诸多意想不到的后果。换言之，当我们对模型某一部分进行优化以提升某一特定任务的表现时，往往会导致其他相关任务的性能受到一定程度的影响。然而，这种影响为何发生以及具体影响程度却难以判断，原因在于我们尚不了解 ChatGPT 的内部运行机制，且其源代码并非公开透明。

随着时间的流逝，研究者们观察到 ChatGPT 的回答不再像之前那样精确，同时它也不再展示推理过程的解释。

驱动 ChatGPT 等大型语言模型的性能变化，由于其运作模式的特点，研究起来具有一定的难度。为此，这个研究突出了观察和评估这些工具的重要性，旨在深入探讨其表现。此研究已在 arXiv 上发布，并正接受同行评审。感兴趣的读者可以点击此处查看详细信息。