直达「 通往AGI之路 」飞书知识库 →
Chain-of-Thought Prompting Elicits Reasoning in Large Language Modelsbb
|最后更新: 2023-8-27
Date
Jan 28, 2022
Institution
Google
Publication
Computation and Language
摘要:我们探讨了生成思维链(一系列中间推理步骤)如何显著提高大型语言模型执行复杂推理的能力。特别是,我们展示了这种推理能力是如何通过一种称为思维链提示的简单方法在足够大的语言模型中自然出现的,即在提示中提供一些思维链示范作为范例。在三个大型语言模型上进行的实验表明,思维链提示提高了系列算术、常识和符号推理任务的成绩。实证结果令人震惊。例如,仅用八个思维链示例来提示一个 540B 参数的语言模型,就能在 GSM8K 基准数学单词问题上达到最先进的准确度,甚至超过了带有验证器的经过微调的 GPT-3。
notion image
 
方法:思维链的主要思想是通过向大语言模型展示一些少量的 exemplars,在样例中解释推理过程,大语言模型在回答提示时也会显示推理过程。这种推理的解释往往会引导出更准确的结果。
 
局限:
  • 实验结果并不意味着 LLM 在实际推理;
  • 无法保证正确的推理路径;
Loading...