网站建设对客户的优势,表白网站,开放一个网站多少钱,秀堂h5官网《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》- Chain-of-Thought Prompting Elicits Reasoning in Large Language Models 论文信息摘要1. 介绍2. 思维链提示3. 算术推理3.1 实验设置3.2 结果3.3 消融研究3.4 思想链的稳健性 4. 常识推理5. 符号… 《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》- Chain-of-Thought Prompting Elicits Reasoning in Large Language Models 论文信息摘要1. 介绍2. 思维链提示3. 算术推理3.1 实验设置3.2 结果3.3 消融研究3.4 思想链的稳健性 4. 常识推理5. 符号推理6. 讨论7. 相关工作8. 结论 论文信息
题目《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》作者Jason Wei and et al.会议NeurlPS 2022内容概述论文探索如何生成一个思想链一系列中间推理步骤来显着提高大型语言模型执行复杂推理的能力。
摘要
我们探索生成一条思想链一系列中间推理步骤如何显着提高大型语言模型执行复杂推理的能力。特别是我们展示了这种推理能力如何通过一种称为思维链提示的简单方法在足够大的语言模型中自然出现其中提供了一些思维链演示作为提示的范例。
对三种大型语言模型的实验表明思维链提示可以提高一系列算术、常识和符号推理任务的表现。经验收益可能是惊人的。例如仅用八个思维链示例来提示 PaLM 540B即可在数学应用题的 GSM8K 基准上达到最先进的精度甚至超过带有验证器的微调 GPT-3。
1. 介绍
NLP 领域最近因语言模型而发生了革命性的变化Peters 等人2018 年Devlin 等人2019 年Brown 等人2020 年等。事实证明扩大语言模型的规模可以带来一系列好处例如提高性能和样本效率Kaplan 等人2020 年Brown 等人2020 年等。然而事实证明仅扩大模型大小不足以在算术、常识和符号推理等具有挑战性的任务上实现高性能Rae 等人2021。
这项工作探讨了如何通过两个想法激发的简单方法来解锁大型语言模型的推理能力。首先算术推理技术可以受益于生成导致最终答案的自然语言原理。除了使用形式语言的神经符号方法之外先前的工作还使模型能够通过从头开始训练Ling 等人2017 年或微调预训练模型Cobbe 等人2021 年来生成自然语言中间步骤而不是自然语言Roy 和 Roth2015Chiang 和 Chen2019Amini 等人2019Chen 等人2019。其次大型语言模型提供了通过提示进行上下文中的小样本学习的令人兴奋的前景。也就是说不必为每个新任务微调单独的语言模型检查点而是可以简单地用一些演示该任务的输入输出示例来“提示”模型。值得注意的是这对于一系列简单的问答任务来说是成功的Brown 等人2020。
然而上述两种想法都有关键的局限性。对于原理增强训练和微调方法来说创建大量高质量原理的成本很高这比普通机器学习中使用的简单输入输出对要复杂得多。对于 Brown 等人使用的传统的少镜头提示方法。 (2020)它在需要推理能力的任务上表现不佳并且通常不会随着语言模型规模的增加而得到实质性改善 (Rae et al., 2021)。在本文中我们将这两种想法的优点结合起来避免了它们的局限性。具体来说我们探索语言模型在推理任务中执行少量提示的能力给出由三元组组成的提示输入思想链输出。思维链是一系列导致最终输出的中间自然语言推理步骤我们将这种方法称为思维链提示。图 1 显示了示例提示。 我们对算术、常识和符号推理基准进行了实证评估表明思维链提示优于标准提示有时甚至达到了惊人的程度。图 2 展示了这样一个结果在数学应用题的 GSM8K 基准上Cobbe 等人2021PaLM 540B 的思维链提示大大优于标准提示并实现了新的最先进水平表现。仅提示方法很重要因为它不需要大型训练数据集并且单个模型检查点可以执行许多任务而不失通用性。这项工作强调了大型语言模型如何通过一些带有有关任务的自然语言数据的示例来学习参见通过大型训练数据集自动学习输入和输出背后的模式。
2. 思维链提示
在解决复杂的推理任务例如多步骤数学应用题时请考虑自己的思维过程。通常将问题分解为中间步骤并在给出最终答案之前解决每个步骤“Jane 给了她妈妈 2 朵花后她有 10 朵……” 。 。那么当她给她爸爸 3 后她将得到 7 。 。 。所以答案是7。”本文的目标是赋予语言模型生成类似思维链的能力——一系列连贯的中间推理步骤从而得出问题的最终答案。我们将证明如果在小样本提示的范例中提供了思想链推理的演示那么足够大的语言模型可以生成思想链。 图 1思维链提示使大型语言模型能够处理复杂的算术、常识和符号推理任务。强调了思维链推理过程。 图 1 显示了一个模型示例该模型产生了解决数学应用题的一系列思路否则该模型可能会出错。在这种情况下思想链类似于一个解决方案可以解释为一个解决方案但我们仍然选择将其称为思想链以更好地捕捉这样的想法它模仿了一步一步的思维过程来得出答案并且此外解决方案/解释通常出现在最终答案之后Narang 等人2020 年Wiegreffe 等人2022 年Lampinen 等人2022 年等。
作为促进语言模型推理的方法思维链提示具有几个有吸引力的特性。 首先思想链原则上允许模型将多步骤问题分解为中间步骤这意味着额外的计算可以分配给需要更多推理步骤的问题。其次思想链为模型的行为提供了一个可解释的窗口表明模型如何得出特定的答案并提供调试推理路径出错的地方的机会尽管充分描述了支持模型的计算的特征答案仍然是一个悬而未决的问题。第三思想链推理可用于数学应用题、常识推理和符号操作等任务并且可能适用于至少原则上人类可以通过语言解决的任何任务。最后只需将思维链序列的示例包含到少样本提示的范例中就可以在足够大的现成语言模型中轻松引发思维链推理。 在实证实验中我们将观察思维链提示对于算术推理第 3 节、常识推理第 4 节和符号推理第 5 节的效用。
3. 算术推理
我们首先考虑图 1 中形式的数学应用题它衡量语言模型的算术推理能力。虽然算术推理对人类来说很简单但语言模型经常难以完成算术推理任务Hendrycks 等人2021 年Patel 等人2021 年等。引人注目的是与 540B 参数语言模型一起使用时的思想链提示在多项任务上的表现与特定于任务的微调模型相当甚至在具有挑战性的 GSM8K 基准测试中达到了新的最先进水平Cobbe 等人2021。
3.1 实验设置 图 3算术、常识和符号推理基准的输入、思维链、输出三元组示例。思想链被突出显示。完整提示见附录 G。 我们在多个基准上探索各种语言模型的思维链提示。
基准。我们考虑以下五个数学应用题基准(1) 数学应用题的 GSM8K 基准 (Cobbe et al., 2021)(2) 具有不同结构的数学应用题的 SVAMP 数据集 (Patel et al., 2021) (3) 各种数学应用题的 ASDiv 数据集Miao 等人2020(4) 代数应用题的 AQuA 数据集以及 (5) MAWPS 基准Koncel-Kedziorski 等人2016。附录表 12 中给出了示例问题。
标准提示。对于基线我们考虑由 Brown 等人推广的标准几次提示。 2020其中在输出测试时示例的预测之前给定语言模型输入输出对的上下文样本。范例的格式为问题和答案。模型直接给出了答案如图 1左所示。
思想链提示。我们提出的方法是通过一系列相关答案的思路来增强几次提示中的每个样本如图 1右所示。由于大多数数据集只有评估分割我们手动组合了一组八个小样本样本并带有提示的思维链——图 1右显示了一个思维链样本完整的样本集在附录表 20。这些特定范例没有经过提示工程稳健性在第 3.4 节和附录 A.2 中进行了研究。为了研究这种形式的思维链提示是否能够成功地在一系列数学应用题中引出成功的推理我们对除 AQuA 之外的所有基准测试使用了这套八个思维链范例AQuA 是多项选择而不是自由回答 。对于 AQuA我们使用了训练集中的四个示例和解决方案如附录表21中所示。
语言模型。我们评估了五个大型语言模型。第一个是 GPT-3 (Brown et al., 2020)我们使用 text-ada-001、text-babbage-001、text-curie-001 和 text-davinci-002它们大概对应于 InstructGPT 模型350M、1.3B、6.7B 和 175B 参数的模型Ouyang et al., 2022。第二个是 LaMDAThoppilan et al., 2022它有 422M、2B、8B、68B 和 137B 参数的模型。第三个是PaLM有8B、62B、540B参数的模型。第四个是 UL2 20BTay 等人2022第五个是 CodexChen 等人2021OpenAI API 中的 code-davinci-002。我们通过贪婪解码从模型中进行采样尽管后续工作表明可以通过在许多采样代中采用大多数最终答案来改进思想链提示Wang 等人2022a。对于 LaMDA我们报告了五个随机种子的平均结果其中每个种子都有不同的随机洗牌顺序的样本。由于 LaMDA 实验并未显示不同种子之间存在较大差异为了节省计算量我们报告所有其他模型的单个示例顺序的结果。
3.2 结果 图 4思维链提示使大型语言模型能够解决具有挑战性的数学问题。值得注意的是思想链推理是增加模型规模的一种新兴能力。之前的最佳数据来自 Cobbe 等人。 (2021) 对于 GSM8KJie 等人。 (2022) SVAMP以及 Lan 等人。 (2021) 为 MAWPS。 图 4 总结了思想链提示的最强结果每个模型集合、模型大小和基准的所有实验输出如附录中的表 2 所示。有三个关键要点。首先图4表明思维链提示是模型规模的一种涌现能力Wei et al., 2022b。也就是说思想链提示不会对小型模型的性能产生积极影响并且仅在与 ~100B 参数的模型一起使用时才会产生性能增益。我们定性地发现较小规模的模型会产生流畅但不合逻辑的思维链导致表现低于标准提示。
其次思路链提示对于更复杂的问题有更大的性能提升。例如对于 GSM8K基线性能最低的数据集最大的 GPT 和 PaLM 模型的性能提高了一倍以上。另一方面对于 SingleOpMAWPS 的最简单子集来说只需要一步即可解决性能改进要么是负面的要么是非常小的参见附录表 3。
第三通过 GPT-3 175B 和 PaLM 540B 进行的思想链提示优于现有技术后者通常在标记的训练数据集上微调特定于任务的模型。图 4 显示了 PaLM 540B 如何使用思维链提示在 GSM8K、SVAMP 和 MAWPS 上实现新的技术水平但请注意标准提示已经超过了 SVAMP 的先前最佳状态。在另外两个数据集 AQuA 和 ASDiv 上具有思维链提示的 PaLM 与现有技术的差距在 2% 以内附录表 2。
为了更好地理解为什么思维链提示有效我们手动检查了 LaMDA 137B for GSM8K 模型生成的思维链。在模型返回正确最终答案的 50 个随机示例中除了两个巧合地得出正确答案之外所有生成的思维链在逻辑和数学上都是正确的参见附录 D.1 和表 8 的示例正确的模型生成的思想链。我们还随机检查了模型给出错误答案的 50 个随机样本。这一分析的总结是除了小错误计算器错误、符号映射错误或缺少一个推理步骤之外46% 的思维链几乎是正确的而另外 54% 的思维链则有错误。语义理解或连贯性方面的重大错误见附录 D.2。为了深入了解为什么缩放可以提高思路推理能力我们对 PaLM 62B 所犯的错误进行了类似的分析以及这些错误是否通过缩放到 PaLM 540B 得到了修复。总结是将 PaLM 扩展到 540B 修复了 62B 模型中的很大一部分一步缺失和语义理解错误参见附录 A.1。
3.3 消融研究
使用思维链提示所观察到的好处自然引发了一个问题是否可以通过其他类型的提示来实现相同的性能改进。图 5 显示了具有下述三种思路变化的消融研究。 图 5使用 LaMDA 137B 和 PaLM 540B 对不同提示形式进行的消融研究。其他数据集的结果在附录表 6 和表 7 中给出。 仅方程式。思维链提示可能有帮助的一个原因是它会产生要评估的数学方程因此我们测试了一种变体其中提示模型在给出答案之前仅输出数学方程。图5显示仅方程提示对GSM8K没有太大帮助这意味着GSM8K中问题的语义太具有挑战性无法在没有思维链中的自然语言推理步骤的情况下直接翻译成方程。然而对于一步或两步问题的数据集我们发现仅提示方程确实可以提高性能因为可以很容易地从问题中推导出方程参见附录表 6。
仅变量计算。另一个直觉是思想链允许模型在更困难的问题上花费更多的计算即中间标记。为了将变量计算的影响与思想链推理隔离开来我们测试了一种配置其中提示模型输出唯一的点序列 (…)该序列等于解决问题所需的方程中的字符数。这个变体的表现与基线大致相同这表明变量计算本身并不是思想链提示成功的原因并且通过自然语言表达中间步骤似乎是有用的。
回答后的思考链。思想链提示的另一个潜在好处可能只是这样的提示允许模型更好地访问在预训练期间获得的相关知识。因此我们测试了另一种配置其中仅在答案之后给出思维链提示从而隔离模型是否实际上依赖于产生的思维链来给出最终答案。这个变体的表现与基线大致相同这表明思想链中体现的顺序推理除了激活知识之外还有其他用途。
3.4 思想链的稳健性
对样本的敏感性是提示方法的一个关键考虑因素 - 例如改变少样本样本的排列可能会导致 GPT-3 在 SST-2 上的准确性从接近机会 (54.3%) 到接近最先进水平 (54.3%)。 93.4%Zhao 等人2021。在最后一小节中我们评估不同注释者编写的思想链的稳健性。除了上面使用注释者 A 编写的思想链的结果之外本文的另外两位合著者注释者 B 和 C独立为相同的少数样本编写了思想链如附录 H 所示 。注释者 A 还遵循 Cobbe 等人给出的解决方案风格写了另一条比原来更简洁的思想链。 2021。 图 6思想链提示对于不同的提示示例存在差异如预期但对于各种注释器以及不同的示例其表现优于标准提示。 图 6 显示了 LaMDA 137B 在 GSM8K 和 MAWPS 上的这些结果其他数据集的消融结果在附录表 6/表 7 中给出。尽管不同的思想链注释之间存在差异正如使用基于范例的提示时所预期的那样Le Scao 和 Rush2021Reynolds 和 McDonell2021Zhao 等人2021但所有思想链提示集大幅优于标准基线。这一结果意味着思维链的成功使用并不依赖于特定的语言风格。
为了确认成功的思维链提示适用于其他样本集我们还对从 GSM8K 训练集一个独立来源中随机采样的三组八个样本进行了实验该数据集中的示例已经包含了像链这样的推理步骤。图 6 显示这些提示的执行效果与我们手动编写的示例相当也大大优于标准提示。
除了对注释器、独立编写的思维链、不同范例和各种语言模型的鲁棒性之外我们还发现算术推理的思维链提示对不同范例顺序和不同数量的范例具有鲁棒性参见附录A.2)。
4. 常识推理
尽管思维链特别适合数学应用题但思维链基于语言的性质实际上使其适用于广泛的常识推理问题其中涉及在一般背景知识的假设下对物理和人类交互的推理。常识推理是与世界互动的关键但仍然超出了当前自然语言理解系统的能力范围Talmor 等人2021。
基准。我们考虑五个涵盖各种常识推理类型的数据集。流行的 CSQATalmor 等人2019提出有关世界的常识性问题涉及复杂的语义这些语义通常需要先验知识。 StrategyQAGeva 等人2021需要模型推断多跳策略来回答问题。我们从 BIG-bench 工作BIG-bench 协作2021中选择了两个专门的评估集日期理解涉及从给定上下文推断日期以及运动理解涉及确定与体育相关的句子是否合理或合理。难以置信。最后SayCan 数据集Ahn 等人2022涉及将自然语言指令映射到离散集中的机器人动作序列。图 3 显示了所有数据集的思想注释链示例。
提示。我们遵循与前一节相同的实验设置。对于 CSQA 和 StrategyQA我们从训练集中随机选择示例并手动组成思想链供它们用作少样本示例。这两个 BIG-bench 任务没有训练集因此我们选择前 10 个示例作为评估集中的样本作为少数样本样本并报告评估集其余部分的编号。对于 SayCan我们使用 Ahn 等人使用的训练集中的六个示例。 2022并且还手动组成了思想链。 图 7语言模型。这里显示的语言模型是PaLM。先前的最佳数字来自 CSQATalmor 等人2019和 StrategyQAGeva 等人2021的排行榜仅限单一模型截至 2022 年 5 月 5 日。表 4 显示了使用不同大小的 LaMDA、GPT-3 和 PaLM 的其他结果。 结果。图 7 突出显示了 PaLM 的这些结果LaMDA、GPT-3 和不同模型规模的完整结果如表 4 所示。对于所有任务扩大模型大小可以提高标准提示的性能思想链提示带来了进一步的收益其中 PaLM 540B 的改进似乎最大。通过思维链提示PaLM 540B 相对于基线取得了强劲的性能在 StrategyQA 上超越了现有技术水平75.6% vs 69.4%并且在运动理解方面超越了独立运动爱好者95.4% vs 84%。这些结果表明思想链提示还可以提高需要一系列常识推理能力的任务的表现尽管请注意在 CSQA 上的收益很小。
5. 符号推理
我们最终的实验评估考虑了符号推理这对人类来说很简单但对语言模型来说可能具有挑战性。我们表明思维链提示不仅使语言模型能够执行在标准提示设置中具有挑战性的符号推理任务而且还有助于推理时间输入的长度泛化比在少数样本中看到的推理时间输入更长。 任务。我们使用以下两个玩具任务。 最后一个字母连接。此任务要求模型连接名称中单词的最后一个字母例如“Amy Brown”→“yn”。这是首字母连接的更具挑战性的版本语言模型已经可以在无需思考的情况下执行该操作。我们通过随机连接姓名普查数据中前一千个名字和姓氏来生成全名https:// namecensus.com/。硬币翻转。此任务要求模型回答人们抛硬币或不抛硬币后硬币是否仍然正面朝上例如“硬币正面朝上。菲比抛硬币。奥斯瓦尔多没有抛硬币。硬币是正面朝上吗”还抬头吗”→“不”。 由于这些符号推理任务的构造是明确定义的对于每个任务我们考虑一个域内测试集其中示例的步骤数与训练/少样本示例相同以及一个域外测试集。域OOD测试集其评估示例的步骤比范例中的步骤更多。对于最后一个字母串联模型仅看到具有两个单词的名称的示例然后对具有 3 个和 4 个单词的名称执行最后一个字母串联。我们对抛硬币任务中潜在的抛掷次数执行相同的操作。我们的实验设置使用与前两节相同的方法和模型。我们再次为每个任务的少数样本手动构建思想链如图 3 所示。
结果。 LaMDA 的结果如附录表 5 所示。使用 PaLM 540B思维链提示可实现几乎 100% 的解决率请注意标准提示已使用 PaLM 540 解决了抛硬币问题但 LaMDA 137B 则不然。请注意这些域内评估是“玩具任务”因为在少数样本中的思想链已经提供了完美的解决方案结构模型所要做的就是使用测试时示例中的新符号重复相同的步骤。然而小模型仍然会失败——对这三个任务的看不见的符号执行抽象操作的能力只有在 100B 模型参数的规模上才会出现。
对于 OOD 评估标准提示对于这两项任务均失败。通过思想链提示语言模型实现了向上的缩放曲线尽管性能低于域内设置。因此思维链提示促进了长度泛化超出了足够规模的语言模型的可见思维链。
6. 讨论
我们探索了思维链提示作为在大型语言模型中引发多步骤推理行为的简单机制。我们首先看到思想链提示极大地提高了算术推理的性能产生的改进比消融更强并且对不同的注释器、范例和语言模型具有鲁棒性第 3 节。接下来常识推理实验强调了思想链推理的语言性质如何使其普遍适用第 4 节。最后我们表明对于符号推理思维链提示有助于 OOD 泛化到更长的序列长度第 5 节。在所有实验中思想链推理都是通过提示现成的语言模型来引发的。在撰写本文的过程中没有对语言模型进行微调。
模型规模导致的思想链推理的出现一直是一个流行的主题Wei 等人2022b。对于许多标准提示具有平坦缩放曲线的推理任务思维链提示会导致缩放曲线显着增加。思想链提示似乎扩展了大型语言模型可以成功执行的任务集换句话说我们的工作强调标准提示仅提供大型语言模型功能的下限。这一观察结果可能提出的问题多于它给出的答案例如随着模型规模的进一步增加我们可以期望推理能力提高多少还有哪些其他提示方法可以扩大语言模型可以解决的任务范围
至于局限性我们首先限定虽然思维链模拟了人类推理者的思维过程但这并不能回答神经网络是否真的在“推理”我们将其作为一个悬而未决的问题。其次尽管在少样本设置中用思想链手动增强样本的成本是最小的但这种注释成本可能会阻碍微调尽管这可能可以通过合成数据生成或零样本泛化来克服。第三无法保证正确的推理路径这可能会导致正确答案和错误答案改进语言模型的事实生成是未来工作的一个开放方向Rashkin 等人2021 年Ye 和 Durrett2022 年Wiegreffe 等人2022 年等。最后思想链推理仅在大型模型规模上出现这使得在现实世界的应用中提供服务的成本高昂进一步的研究可以探索如何在较小的模型中引发推理。
7. 相关工作
这项工作受到许多研究领域的启发我们在扩展的相关工作部分附录 C中详细介绍了这些领域。在这里我们描述了两个可能最相关的方向和相关论文。
第一个相关方向是使用中间步骤来解决推理问题。凌等人。 2017开创了使用自然语言原理通过一系列中间步骤解决数学应用问题的想法。他们的工作与使用形式语言进行推理的文献形成了鲜明对比Roy 等人2015Chiang 和 Chen2019Amini 等人2019Chen 等人2019。科布等人。 2021扩展 Ling 等人。 2017通过创建更大的数据集并使用它来微调预训练的语言模型而不是从头开始训练模型。在程序综合领域Nye 等人。 (2021) 利用语言模型通过首先逐行预测中间计算结果来预测 Python 程序的最终输出并表明他们的逐步预测方法比直接预测最终输出表现得更好。
当然本文也与近期大量有关提示的工作密切相关。自从布朗等人提出的几次提示的普及以来。 (2020)一些通用方法提高了模型的提示能力例如自动学习提示(Lester et al., 2021)或给予模型描述任务的指令(Wei et al., 2022a; Sanh et al., 2022;欧阳等人2022。尽管这些方法改进或增强了提示的输入部分例如添加到输入之前的指令但我们的工作采取正交方向通过一系列思想来增强语言模型的输出。
8. 结论
我们探索了思维链提示作为一种简单且广泛适用的增强语言模型推理的方法。通过算术、符号和常识推理的实验我们发现思想链推理是模型规模的一个新兴属性它允许足够大的语言模型执行原本具有平坦缩放曲线的推理任务。扩大语言模型可以执行的推理任务的范围有望激发基于语言的推理方法的进一步研究。
