斯坦福大学研究发现：ChatGPT能力波动较大，微调模型带来意外后果

根据 IT之家 9 月 7日的报道，一项来自斯坦福大学的研究发现，著名的人工智能助手ChatGPT 在短短几个月内的能力表现出现了波动。这一发现揭示了生成式人工智能在发展过程中可能存在的挑战和不确定性，对于未来人工智能技术的应用和优化具有重要意义。

一项由斯坦福大学团队发起的研究，对ChatGPT在短短几个月内的各项任务处理能力进行了深入的探讨。研究结果显示，随着时间推移，ChatGPT的表现出现了一定程度的不稳定性。当前，ChatGPT主要有两个版本，一个是免费提供的GPT-3.5模型，另一个则是更为智能、速度更快的GPT-4版本。具体来看，研究人员发现在今年3月，GPT-4在解决数学问题和识别质数方面表现出了显著的优势，其准确率达到了97.6%，然而在三个月后的6月份，其准确率却下降至了2.4%。反观GPT-3.5模型，其在准确率上的提升更是显著，从最初的7.4%提高到了86.8%。这项研究为我们提供了关于ChatGPT在不同阶段表现的重要信息，有助于我们更好地理解和利用这一强大的人工智能工具。

在编程和视觉识别等领域，也存在着类似于波动的现象。斯坦福大学的计算机科学教授詹姆斯·祖（James Zou）指出：“一旦我们调整了一个大型语言模型，以提升其在特定任务上的性能，就可能产生许多预期之外的影响，这可能会破坏该模型在其他任务上的性能。值得注意的是，这个模型的回答方式存在各种相互依赖性，这就可能导致我们所观察到的某些不良现象。”

研究人员指出，ChatGPT 的性能准确性问题并未得到充分体现，其结果反而揭示了微调模型的诸多意想不到的后果。换言之，当我们对模型某一部分进行优化以提升某一任务表现时，往往会导致其他相关任务的性能受到一定程度的影响，而这种影响是否显著，却难以判断。这主要是因为我们尚不了解 ChatGPT 的内部运行机制，且其源代码尚未公开，因此无法进行深入分析。

随着时间的流逝，研究者们观察到 ChatGPT 的回答不再像之前那样精确，同时它也不再展示推理过程的解释。

驱动 ChatGPT 等大型语言模型的性能变化，由于其运作模式的特点，研究起来具有一定的难度。为此，这个研究突出了观察和评估这些工具的重要性，旨在深入探讨其表现。此研究已在 arXiv 上发布，并正接受同行评审。感兴趣的读者可以点击此处查看详细信息。