实践记录之初识思维链 | 豆包MarsCode AI刷题

用户40315323636
153 阅读7分钟

在近年来的自然语言处理（NLP）研究中，**思维链（Chain of Thought, CoT）**成为了提升语言模型推理能力的一种革命性方法。传统的语言模型，虽然在诸如文本生成、翻译和问答等任务中表现优异，但在涉及深层推理、复杂逻辑问题时，往往显得力不从心。CoT正是为了解决这一问题，旨在通过模拟人类的逐步推理过程，使语言模型能够更好地处理具有多层次逻辑推理需求的任务。

本篇文章将从思维链（CoT）的背景和技术原理出发，深入探讨其在大语言模型中的应用，特别是在LangChain框架中的实现与优化。

CoT的理论背景

CoT的起源与发展

思维链（CoT）这一概念最早可以追溯到认知心理学中的推理理论。人类在解决复杂问题时，通常不会一蹴而就地得出结论，而是通过分步骤的思考，逐渐清晰问题的各个方面，并最终得出解决方案。这种逐步推理的过程，成为了思维链的基本构想。

CoT方法的核心思想源自于层次化推理（Hierarchical Reasoning）和显式推理过程（Explicit Reasoning Process） 。传统的语言模型（如GPT系列）在生成文本时，通常依赖于预测下一个单词的概率分布，而忽略了推理过程中各个步骤的明确解释。CoT的目标则是通过在生成文本时插入推理过程，模拟人类思维的逐步演绎，使得最终生成的文本不仅逻辑严谨、条理清晰，而且可以为每一个推理步骤提供合理的解释。

在论文Chain of Thought Prompting Elicits Reasoning in Large Language Models，作者指出，通过将推理步骤显式化，模型不仅能提升推理的准确性，还能够处理更多样的任务，从而扩展其在复杂问题上的应用能力。

image.png

CoT与传统推理的对比

传统的推理方法往往直接给出最终答案，而CoT则通过显式化推理过程，提升了模型的透明度与解释性。在许多应用中，特别是在复杂决策和科学推理中，CoT可以显著提升模型的效果。例如，在数学推理和常识推理等领域，CoT能够帮助模型逐步解决问题的各个部分，而不是单纯地给出一个“猜测”的答案。

CoT的核心优势

  • 多步推理：CoT通过逐步推理的过程，模拟人类解决问题时的认知路径。这种逐步分析和推理，使得模型能够在多步推理任务中表现得更为准确。

  • 推理透明性：CoT提供了逐步的推理链，允许模型在生成答案时给出每一步的逻辑依据，从而提升了生成文本的透明度和可信度。

  • 复杂任务适应性：CoT特别适用于需要深层推理的任务，诸如数学证明、因果关系分析、逻辑推理等复杂问题。相比之下，传统的语言模型往往面临着生成不连贯或缺乏逻辑的风险。

LangChain框架与CoT的结合

LangChain是一个基于大语言模型（LLM）的开源框架，旨在简化与语言模型的交互，提供更加灵活且可扩展的工具。在LangChain中，ChatPromptTemplate和Chain of Thought模板是实现CoT的核心工具。通过这些模板，LangChain能够帮助开发者高效地构建包含推理过程的模型任务，提升模型在复杂任务中的表现。

LangChain的优势在于其模块化设计，支持将不同的任务和推理过程组合起来，为CoT的实现提供了灵活的支持。

CoT在LangChain中的实现

在LangChain中，实现CoT的关键是设计思维链提示模板（Chain of Thought Prompt Templates） ，这些模板提供了从输入到输出的逐步推理过程。以下是一个具体的CoT实现流程：

  1. 角色与任务设定：首先设定AI助手的角色，并明确其任务目标。
  2. 推理步骤模板设计：根据任务的复杂性设计多个推理步骤模板，模拟模型在解答问题时的推理链条。
  3. 提供示例：通过Few-Shot Learning，向模型展示如何利用这些模板分步推理，给出合理的答案。
  4. 调用模型生成推理：使用LangChain的ChatPromptTemplate将任务、推理模板与用户输入结合，生成最终的推理过程。

代码实现：使用LangChain进行CoT推理

下面的代码展示了如何在LangChain中结合思维链（CoT）实现逐步推理。

import os
from langchain_openai import ChatOpenAI
from langchain.prompts import ChatPromptTemplate, HumanMessagePromptTemplate, SystemMessagePromptTemplate

# 隐藏敏感信息
API_KEY = os.getenv("ARK_API_KEY")
API_URL = os.getenv("OPENAI_BASE_URL")
MODEL = os.getenv("LLM_MODELEND")

# 初始化语言模型
llm = ChatOpenAI(model=MODEL, openai_api_key=API_KEY, openai_api_base=API_URL)

# 设定 AI 的角色和目标
role_template = (
    "你是一个为花店电商公司工作的AI助手, 你的目标是帮助客户根据他们的喜好做出明智的决定"
)

# CoT 推理模板
cot_template = """
作为一个为花店电商公司工作的AI助手，我的目标是帮助客户根据他们的喜好做出明智的决定。

我会按部就班的思考，先理解客户的需求，然后考虑各种鲜花的涵义，最后根据这个需求，给出我的推荐。
同时，我也会向客户解释我这样推荐的原因。

示例 1:
  人类：我想找一种象征爱情的花。
  AI：首先，我理解你正在寻找一种可以象征爱情的花。在许多文化中，红玫瑰被视为爱情的象征，这是因为它们的红色通常与热情和浓烈的感情联系在一起。因此，考虑到这一点，我会推荐红玫瑰。红玫瑰不仅能够象征爱情，同时也可以传达出强烈的感情，这是你在寻找的。

示例 2:
  人类：我想要一些独特和奇特的花。
  AI：从你的需求中，我理解你想要的是独一无二和引人注目的花朵。兰花是一种非常独特并且颜色鲜艳的花，它们在世界上的许多地方都被视为奢侈品和美的象征。因此，我建议你考虑兰花。选择兰花可以满足你对独特和奇特的要求，而且，兰花的美丽和它们所代表的力量和奢侈也可能会吸引你。
"""

# 定义聊天模板
system_prompt_role = SystemMessagePromptTemplate.from_template(role_template)
system_prompt_cot = SystemMessagePromptTemplate.from_template(cot_template)
human_template = "{human_input}"
human_prompt = HumanMessagePromptTemplate.from_template(human_template)

# 结合所有部分创建完整的聊天提示
chat_prompt = ChatPromptTemplate.from_messages([system_prompt_role, system_prompt_cot, human_prompt])

# 格式化用户输入
prompt = chat_prompt.format_prompt(human_input="我想为我的女朋友购买一些花。她喜欢粉色和紫色。你有什么建议吗?").to_messages()

# 调用模型进行推理
response = llm.invoke(prompt)
print(response)

输出如下：

image.png

总结

思维链（CoT）为复杂推理任务提供了全新的解决思路，结合LangChain框架，我们能够在大语言模型中高效实现这一方法。通过逐步推理、显式化的过程，CoT不仅提升了推理准确性，还提高了推理的透明性，为多种复杂任务提供了强有力的支持。随着技术的不断发展，CoT有望在更多实际应用场景中发挥重要作用，成为下一代智能推理系统的核心技术之一。

avatar
文章
阅读
粉丝