Least-to-Most Prompting Enables Complex Reasoning in Large Language Models
摘要：尽管思维链提示在许多自然语言推理任务中都取得了令人印象深刻的成果，但在需要解决比示范示例更难的问题和任务中，它的表现往往不尽如人意。为了解决这种从易到难的泛化问题，我们提出了一种新颖的提示策略，即从最少到最多的提示。它将一个复杂的问题简化为一系列子问题，然后按顺序解决这些子问题，通过之前解决的子问题的答案来帮助解决给定的子问题。在符号操作、组合泛化和数学推理方面的实验表明，从最少到最多的提示可以泛化到比提示中看到的更难的例子，并在很大程度上优于思维链提示。一个值得注意的结果是，使用最少提示的 GPT-3 代码-davinci-002 模型在解 SCAN 基准时，无论是否有拆分（如长度拆分），使用 14 个示例的准确率为 99.7%，而使用思维链提示的准确率为 16.2%。
动机：链式思考提示在一些需要从简单到困难问题进行泛化的任务的表现不佳。
方法：
- 自上而下的问题分解。
- 自下而上的问题求解。
局限：
- 需要语言模型具备将复杂问题分解为子问题以及重用子问题答案的能力。如果语言模型不具备这种能力，那么 Least-to-most Prompting 的方式就无法实现。