前言：
Auto-CoT提示方法使用基于多样性的采样和零样本生成，使语言模型能够自动生成复杂推理的示例，减少了人工创建提示的工作量。实验表明，在推理任务上，它的表现与手动提示相媲美。
关键要点：
-
CoT（思维链条）提示通过提供逐步示例来改进语言模型的推理能力
-
手动创建CoT演示需要大量人力工作
-
本论文探讨了使用语言模型自身自动生成CoT演示的自动化方法
-
提出的Auto-CoT方法通过首先对给定任务的问题进行聚类，然后从不同聚类中采样出多样性的问题来进行自我提示
-
实验证明，Auto-CoT与手动创建的CoT相匹配，无需人类参与设计演示即可实现
介绍：
该论文“Automatic Chain of Thought Prompting in Large Language Models”（地址：arxiv.org/abs/2210.03…）探索了为大型语言模型（如GPT-4）创建有效的“思维链条”（CoT）提示的自动化方法。CoT提示涉及向语言模型展示一些示例，这些示例演示了从问题到最终答案的逐步推理过程。这可以提高在复杂推理任务上的性能。
讨论
然而，目前最好的CoT激励结果需要人工手动创建演示，包括手工制作问题和详细的推理步骤，以适应每个任务。作者提出通过让LLM自动生成其自己的CoT演示来消除这种手动工作。他们的关键方法称为Auto-CoT，首先基于语义相似性对给定任务的问题进行聚类。然后，Auto-CoT从不同聚类中抽样一组多样化的问题。对于每个抽样问题，Auto-CoT使用LLM本身以零-shot模式产生从问题到答案的推理链。它采用简单的启发式方法根据长度和简单性选择链。
作者在涵盖算术、常识和符号逻辑问题的10个推理数据集上进行实验证明了Auto-CoT的效果，结果显示Auto-CoT与基于手动创建演示的CoT激励的性能相匹配或超过，而无需任何人力来设计演示。一个关键的洞察是，使用基于多样性抽样而非相似性检索来选择提示问题可以减轻LLM零-shot推理产生的不完美演示的影响。Auto-CoT还大大优于类似于检索相似问题或随机抽样的基线演示。
总体而言，这项工作提供了强有力的证据，证明LLM可以自我激励以展示复杂的多步推理。Auto-CoT本质上由一种生成多样化CoT示例的LLM组成，另一种使用这些示例进行推理的LLM。作者认为这种自我激励方法可以显著扩展激励技术，并使LLM在复杂推理任务中成为更好的少样本学习者。局限性包括潜在的计算成本和在更自由问题上的扩展问题。但是自动化激励的能力可以减少人力和定制需求。
研究问答
Auto-CoT与其他自动生成提示的方法（如检索增强激励）相比如何？
检索增强激励通过检索相关的数据示例来用于提示，而不是让LLM生成演示。一个关键区别是Auto-CoT不需要一个带有标记示例的数据集，而是依赖于LLM自身的零-shot推理。检索可能在样本效率上更高，但需要数据收集。Auto-CoT完全自动化，但可能会受到不完美演示的影响。
Auto-CoT能否应用于除逻辑推理之外的自然语言生成任务？
聚类和自我激励的方法似乎适用于较少结构化的文本任务，其中连贯性很重要。例如，Auto-CoT可以为创意写作提供写作规划示例，或者为对话机器人提供对话示例。关键挑战在于定义适当的聚类方法，并训练LLM的零-shot生成以获得高质量的演示。
这项研究有哪些创新之处？
关键创新是使用LLM本身生成提示演示，而不是依赖于手动创建。这使得激励变得更加自动化和任务自适应。选择多样化问题进行自我激励的聚类方法也具有创新性。
这项研究的更广泛影响是什么？
这项研究可以显著减少设计有效提示所需的人力和专业知识。它可能使LLM能够更快地学习新任务，并从更少的数据中进行学习，增强其少样本学习能力。自我激励方法可以应用于扩展激励技术，如上下文学习。
如果有的话，这项研究的一些潜在问题或疏漏是什么？
一个潜在问题是Auto-CoT依赖于基于Sentence-BERT的相似性特征对问题进行聚类。在语义相似性与推理相似性不匹配的任务上，性能可能会受到影响。这种方法可能还会带来比标准激励更高的计算成本。
从这项研究出发，下一步的研究方向是什么？
重要的下一步包括探索Auto-CoT在更复杂和开放式推理任务中的扩展性能，将其与外部知识源的检索集成，以及研究通过元学习而非仅依赖预训练LLM来更有效地学习该方法。分析聚类数量、样本大小和性能之间的相互作用也是一个开放的问题。
总结
Auto-CoT减少了手工制作演示来提示LLM的需求。
Auto-CoT的自我激励方式组合了一个生成多样化示例的LLM和另一个进行推理的LLM。
多样化抽样问题对克服零-shot推理链的不完美至关重要。
该方法可以扩展激励技术，并使LLM成为更好的少样本学习者。
Auto-CoT展示了自动化激励减少人力投入的优势。
下一步是将Auto-CoT推广到更复杂的推理任务和更大的LLM规模上。
