文章主题：
没有RLHF，一样媲美GPT-4、Bard，Meta发布650亿参数语言模型LIMA
机器之心报道
机器之心编辑部
不需要 RLHF，LIMA 就能和 GPT-4、Bard、DaVinci003 相媲美，甚至更好。
🌟ChatGPT与GPT-4等AI巨擘，在🔥文本处理的各个维度上展现出无与伦比的实力，这背后的秘密武器是RLHF（👨💻通过人类反馈的强化学习），它赋予模型以超凡的语言智慧，不断根据使用者的指引进行精准优化。🚀这些先进的技术正在引领AI语言的新纪元，让文字交流更加流畅、智能。
🌟 使用RLHF技术，顶尖的语言模型能紧密贴合人类期望，精准执行指令，减少不当、误导甚至偏差的内容。然而，这项高效的方法背后隐藏着高昂的代价——它离不开大规模的人工标签与详尽审核。🚀
最近，来自 Meta AI 等机构的研究者在一项研究中指出：在对齐方面，少即是多。
论文地址：https://arxiv.org/abs/2305.11206
🌟研究人员运用65B参数的超先进LLaMa模型（简称lama）进行有监督学习，无需RLHF加持，LIMA展现出惊人的效能！在1000个精选样本上训练后，它在未见过的任务中表现出色，泛化能力令人赞叹。一抹亮眼，LIMA的实力不输GPT-4、Bard与DaVinci003等业界巨头，获得Yann LeCun这样的重量级人物推崇，实属荣耀！🏆
接下来，让我们看一下研究细节。
研究概述
首先，我们知道训练大型语言模型需要两个步骤：
在原始内容中进行无监督预训练，以学习通用表征；
大规模指令微调和强化学习，以更好地对齐最终任务和用户偏好。
🌟训练一个超大规模的语言模型——LLaMa的65B参数大能手’LIMA’，我们专注于评估这两步的关键性。它通过1000个精选的指导和回复（而非海量数据），巧妙地运用标准监督损失微调，避免了复杂的强化学习或人类偏好注入。🚀
🌟【AI助手】改写版：🔍LIMA的独特之处在于它能在有限的数据样本中精准掌握回答模式，无论是复杂行程规划还是应急历史推测，都能游刃有余。它展现出强大的泛化能力，超越界限，适用于各类未见过的任务。一抹亮眼的成绩在人体试验中揭晓——相较于GPT-4的43%，LIMA的表现更胜一筹，高达58%的比例显示了其卓越效能。相比于Bard，进步显著，提升幅度达到58%-65%之巨。无需人类反馈，LIMA已证明自己是AI领域中的高效能者。🏆
🌟研究揭示了大型语言模型的知识来源：几乎所有都在预训练阶段获取，只需少许指令优化就能产出优质响应。别忘了，这与RLHF的独特之处形成鲜明对比，它正帮助LLMs实现训练成本的有效降低🌍。
数据对齐
研究者提出了表面对齐假设：模型的知识和能力几乎完全是在预训练期间学习的，而对齐则是教会它与用户交互时如何选择子分布。如果假设正确，对齐主要有关于学习方式，那么该假设的一个推论是，人们可以用相当少的样本充分调整预训练的语言模型。
为此，研究者收集了 1000 个 prompt 和回答的数据集，其中输出 (回答) 在风格上一致，但输入 (prompt) 是不同的。他们想找出一种有帮助的、AI 助手风格的输出。精选样本的来源主要包括社区问答和手动撰写两部分。除此之外，团队还收集了一个包含 300 个 prompt 的测试集以及一个包含 50 个 prompt 的开发集。表 1 展示了不同数据源的概览，并提供了一些统计数据。
社区问答
研究者从三个社区问答网站收集数据，分别是 Stack Exchange、wikiHow 和 Pushshift Reddit 数据集。来自 Stack Exchange 和 wikiHow 的答案与 AI 智能体的行为很一致，因此可以深度挖掘，而 Reddit 的高赞答案往往是幽默的或带有恶意，需要一种人工的方法来管理回答，遵循适当的风格。
人工撰写的样本
为进一步丰富数据，研究团队还自己制作 prompt，指定两组作者 (分别为 A 组和 B 组)，由他们自己或朋友的兴趣各自创建 250 个 prompt。从 A 组中选择 200 个 prompt 进行训练，并将 50 个 prompt 作为保留的开发集。过滤部分有问题的 prompt 后，将 B 组中剩余的 230 个 prompt 用于测试。
训练 LIMA
该研究以 LLaMa 65B [Touvron et al., 2023] 作为基础模型，使用包含 1000 个样本的对齐训练集进行了微调。为了区分每个说话者（用户和助手），该研究在每段话语结束时引入一个特殊的回合结束 token（EOT），该 token 与停止生成的 EOS 起着相同的作用，但避免了与预训练模型已注入的 EOS token 产生混淆。
该研究遵循标准的微调超参数，包括：使用 AdamW [Loshchilov 和 Hutter，2017] 微调 15 个 epoch，其中 β_1=0.9，β_2=0.95，权重衰减（weight decay）为 0.1。在没有预热（warmup）步骤的情况下，该研究将初始学习率（learning rate）设置为，并在训练结束时衰减到。批大小设置为 32 个样本（对于较小的模型设置为 64 个），超过 2048 个 token 的文本将被修剪。值得注意的是，这种方法与 norm 不同的是使用了残差 dropout。该研究按照 Ouyang et al. [2022] 的方法，并在残差连接（residual connection）上应用 dropout，底层 p_d=0.0，线性增长至最后一层 p_d=0.3（对于较小的模型 p_d=0.2）。该研究发现发现困惑度与生成质量无关，因此使用留出（held-out）50 样本开发集手动选择了第 5 个和第 10 个 epoch 之间的检查点。
人类评估
该研究将 LIMA 与 SOTA 语言模型进行了比较评估，结果表明 LIMA 优于 OpenAI 基于 RLHF 的 DaVinci003 和在 52000 个样本上训练的 Alpaca 65B 参数复现版本，并且可以生成比 GPT-4 更好或与之媲美的回答。我们来看一下具体的实验结果。
结果
下图 1 显示了人类偏好评估结果，图 2 显示了 GPT-4 偏好评估结果。该研究第一个观察结果是，尽管使用 52 倍的数据进行训练，Alpaca 65B 输出的结果往往不如 LIMA，而使用高级对齐方法 RLHF 训练的 DaVinci003 也是如此。
谷歌的 Bard 模型则显示出与 DaVinci003 相反的趋势，在 42% 的时间内产生比 LIMA 更好的回答；而 58% 的情况 LIMA 的回答与 Bard 相当或者更好。
最后，虽然 Claude 和 GPT-4 通常比 LIMA 表现更好，但在很多情况下 LIMA 确实产生了更好的回答。值得注意的是，即使是 GPT-4 也有 19% 的情况更喜欢 LIMA 的输出。
分析
虽然研究者主要是针对 SOTA 模型来评估 LIMA，但值得注意的是，其中一些基线实际上是高度调谐的产物，在训练过程中可能已经接触了数百万的真实用户 prompt，因此创造了一个非常高的标准。因此，研究者通过手动分析 50 个随机样本来提供一个绝对评估（absolute assessment）。
他们将每个样本标记为三个类别中的一个：
失败，回答不符合 prompt 的要求；
通过，回答符合 prompt 的要求；
优秀，模型对 prompt 提供了一个极好的回答。
结果如图 3 所示，50% 的 LIMA 答案被认为是优秀的，而且它能够遵循 50 个分析的 prompt 中除 6 个以外的所有 prompt，研究者没有观察到失败案例中的任何明显的趋势。
在 50 个分析样本中，有 43 个具有标准格式要求（例如问答、书信）。该研究分析了 13 个额外的分布外样本（总共 20 个），结果发现 20% 回答失败，35% 通过，45% 非常好。虽然样本数量非常小，但 LIMA 已经在其训练分布之外实现了类似的性能结果，这表明 LIMA 能够很好地泛化。
最后，该研究分析了训练集中少量与安全相关的样本（只有 13 个），并使用来自测试集的 30 个潜在敏感 prompt，发现 LIMA 安全地回答了其中的 80%（包括 10 个带有恶意 prompt 中的 6 个）。在某些情况下，LIMA 完全拒绝执行任务，但当恶意意图比较模糊时，LIMA 更有可能提供不安全的回答。
为什么「Less More」？对数据多样性、质量和数量的消减
接下来，研究者通过消融实验探讨了训练数据的多样性、质量和数量的影响。他们观察到，对于对齐的目的，扩大输入多样性和输出质量有可衡量的积极影响，仅仅扩大数量则可能不会有。
多样性。为了测试 prompt 多样性的效果，同时控制质量和数量，研究者比较了经过质量过滤的 Stack Exchange 数据和 wikiHow 数据的训练效果，前者有异质的 prompt 和极好的回答，后者则有同质的 prompt 和极好的回答。虽然在此将二者作为多样性的代表进行比较，但研究者也表示，在从两个不同来源的数据中采样时，可能会有其他混淆因素。他们从每个来源中抽出 2000 个训练样本，如图 5 显示，更多样化的 Stack Exchange 数据产生了明显更好的性能。
质量。为了测试回答质量的影响，研究者从 Stack Exchange 中抽取了 2000 个样本，没有经过任何质量或风格的过滤，并将在这个数据集上训练的模型与在过滤过的数据集上训练的模型进行比较。如图 5 所示，在经过过滤和未经过过滤的数据源上训练的模型之间有 0.5 分的显著差异。
数量。增加实例的数量是在许多机器学习环境中提高性能的一个著名策略。为了测试它对该设置的影响，研究者从 Stack Exchange 中抽取了指数级增加的训练集。如图 6 所示，训练集规模的翻倍并没有改善回答质量。这个结果表明，对齐不一定只受制于训练样本的数量，还与 prompt 多样性函数有关。
多轮对话
一个仅在 1000 次单回合互动中进行微调的模型能否参与多回合对话？研究者还在 10 个现场对话中测试了 LIMA，将每个回答标记为失败、通过或优秀。
对于一个零样本聊天机器人来说，LIMA 的回答展现出了惊人的一致性，它能够参考对话中以前的步骤信息。但很明显的是，该模型的操作超出了分布范围；在 10 个对话中的 6 个，LIMA 在 3 次互动中未能遵循 prompt。
为了提高它的对话能力，研究者收集了 30 个多轮对话链。在这些对话中，有 10 个对话是由作者创作的，而剩下的 20 个对话是基于 Stack Exchange 的评论链，研究者对其进行了编辑以适应助手的风格。利用合并后的 1030 个样本，他们从预训练的 LLaMa 模型中微调了一个新版本的 LIMA，并根据用于零样本模型的相同 prompt 进行了 10 次现场对话。
图 7 显示了回答质量的分布。增加对话后，大大改善了生成质量，将优秀回答的比例从 45.2% 提高到 76.1%。此外，失败率从每 42 个回合有 15 次失败（零样本）下降到每 46 次有 1 次失败（微调）。
研究者进一步比较了整个对话的质量，发现微调模型在 10 个对话中的 7 个表现明显更好，在 3 个对话中与零样本模型打成平手。从仅仅 30 个样本中获得的这种能力的飞跃，以及零样本模型可以进行对话的事实，加强了这样的假设：这种能力是在预训练中学习的，并且可以通过有限的监督来调用。
综上所述，在 1000 个精心策划的例子上对一个强大的预训练语言模型进行微调，可以在广泛的 prompt 中产生显著的、有竞争力的结果。然而，这种方法也有局限性：首先，构建这样的样本所付出的脑力劳动是巨大的，而且很难扩大规模。其次，LIMA 并不像产品级模型那样鲁棒，虽然 LIMA 通常会产生良好的反应，但在解码过程中一个不幸运的样本或一个敌对的 prompt 往往会导致一个弱的反应。尽管如此，这项工作中提出的证据表明，用简单的方法来解决复杂的对齐问题是有潜力的。返回搜狐，查看更多
责任编辑：
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
