超越所有开源模型，击败 Claude、Bard，专门用于编程任务的大模型来了
机器之心报道 编辑：陈萍 开源 LLM 的性能越来越好了。 最近一段时间，随着大语言模型（LLM）的不断发布，LLM 排位赛也变得火热起来，研究者们试图在新的 LLM 评测系统中不断刷新自家模型的分数。在这当中，斯坦福发布的全新大语言模型排行榜 AlpacaEval 比较出圈，它是一种基于 LLM 的全自动评估基准，且更加快速和可靠。很多著名的模型如 GPT-4、ChatGPT 等都在其上刷榜单。前段时间，来自微软的华人团队发布的 WizardLM（是一个经过微调的 7B LLaMA 模型）在一众模型中获得第四名的好成绩，排在其前面的分别是 GPT-4、Claude 以及 ChatGPT，可见，WizardLM 成绩还是很能打的。近日，WizardLM 团队又发布了新的 WizardCoder-15B 大模型。至于原因，该研究表示生成代码类的大型语言模型（Code LLM）如 StarCoder，已经在代码相关任务中取得了卓越的性能。然而，大多数现有的模型仅仅是在大量的原始代码数据上进行预训练，而没有进行指令微调。因而该研究提出了 WizardCoder，它通过将 Evol-Instruct（该方法生成具有不同难度级别的指令）方法应用于代码领域，为 Code LLM 提供复杂的指令微调。在 HumanEval、HumanEval+、MBPP 以及 DS1000 四个代码生成基准测试中，WizardCoder 在很大程度上超过了所有其他开源 Code LLM。此外，WizardCoder 在 HumanEval 和 HumanEval + 上的表现甚至超过了最大的闭源...