LangChain实战4 | 豆包MarsCode AI刷题

Prompt Engineering

在LangChain的提示模板中加入了partial_variables，输出解析器指定的format_instructions能够使得模型生成结构化的输出是因为大模型的输出解析器在prompt中加了一句话：

The output should be a markdown code snippet formatted in the following schema, including the leading and trailing "```json" and "```":
​
```json
{
        "description": string  // 鲜花的描述文案
        "reason": string  // 问什么要这样写这个文案
}

这段文字由LangChain添加，指示着我们希望得到什么样子的输出，schema从json开始，到结束。

提示的结构

在这个提示框架中：

• Instruction：告诉模型任务的概要以及方法。一个常见的用例是：”你是一个xxx的助手“。
• Context：充当模型的额外知识来源。这些信息可以手动插入到prompt中，通过向量数据库检索的来，或通过其他方式拉入。一个常见的用例：把从向量数据库查询到的知识作为上下文传递给模型。
• Prompt Input：通常是具体的问题或者是大模型需要做的事情，这个部分和Instruction可以合二为一。通常作为变量，在调用模型之前传给提示模板。
• Output Indicator：标记要生成的文本的开始。

LangChain提示模板的类型

LangChain提供String(StringPromptTemplate)和Chat(BaseChatPromptTemplate)两种基本类型的模板，并基于它们构建了不同类型的提示模板。

模板的导入方式如下：

​
from langchain.prompts.prompt import PromptTemplate
from langchain.prompts import FewShotPromptTemplate
from langchain.prompts.pipeline import PipelinePromptTemplate
from langchain.prompts import ChatPromptTemplate
from langchain.prompts import (
    ChatMessagePromptTemplate,
    SystemMessagePromptTemplate,
    AIMessagePromptTemplate,
    HumanMessagePromptTemplate,
)

• PromptTemplate

  from langchain import PromptTemplate
  ​
  template = """\
  你是业务咨询顾问。
  你给一个销售{product}的电商公司，起一个好的名字？
  """
  prompt = PromptTemplate.from_template(template)
  ​
  print(prompt.format(product="鲜花"))
  

  输出：

  你是业务咨询顾问。
  你给一个销售鲜花的电商公司，起一个好的名字？
  

  原始的提示模板为`

  template = """\
  你是业务咨询顾问。
  你给一个销售{product}的电商公司，起一个好的名字？
  """
  

  通过占位符传入变量，使用from_template来实例化。

  也可以使用下面的构造函数来手工指定input_variables

  prompt = PromptTemplate(
      input_variables=["product", "market"], 
      template="你是业务咨询顾问。对于一个面向{market}市场的，专注于销售{product}的公司，你会推荐哪个名字？"
  )
  print(prompt.format(product="鲜花", market="高端"))
  

• ChatPromptTemplate

  下面展示了OpenAI的ChatModel中各种消息的角色。

  import openai
  openai.ChatCompletion.create(
    model="gpt-3.5-turbo",
    messages=[
          {"role": "system", "content": "You are a helpful assistant."},
          {"role": "user", "content": "Who won the world series in 2020?"},
          {"role": "assistant", "content": "The Los Angeles Dodgers won the World Series in 2020."},
          {"role": "user", "content": "Where was it played?"}
      ]
  )
  

  message格式说明如下：

  消息必须是消息对象的数组，其中每个对象都有一个角色（系统、用户或助理）和内容。对话可以短至一条消息，也可以来回多次。

  通常，对话首先由系统消息格式化，然后是交替的用户消息和助理消息。

  系统消息有助于设置助手的行为。例如，你可以修改助手的个性或提供有关其在整个对话过程中应如何表现的具体说明。但请注意，系统消息是可选的，并且没有系统消息的模型的行为可能类似于使用通用消息，例如“你是一个有用的助手”。

  用户消息提供助理响应的请求或评论。

  助理消息存储以前的助理响应，但也可以由你编写以给出所需行为的示例。

  下面是使用的一个示例：

  # 导入聊天消息类模板
  from langchain.prompts import (
      ChatPromptTemplate,
      SystemMessagePromptTemplate,
      HumanMessagePromptTemplate,
  )
  # 模板的构建
  template="你是一位专业顾问，负责为专注于{product}的公司起名。"
  system_message_prompt = SystemMessagePromptTemplate.from_template(template)
  human_template="公司主打产品是{product_detail}。"
  human_message_prompt = HumanMessagePromptTemplate.from_template(human_template)
  prompt_template = ChatPromptTemplate.from_messages([system_message_prompt, human_message_prompt])
  ​
  # 格式化提示消息生成提示
  prompt = prompt_template.format_prompt(product="鲜花装饰", product_detail="创新的鲜花设计。").to_messages()
  ​
  # 下面调用模型，把提示传入模型，生成结果
  import os
  os.environ["OPENAI_API_KEY"] = '你的OpenAI Key'
  from langchain.chat_models import ChatOpenAI
  chat = ChatOpenAI()
  result = chat(prompt)
  print(result)
  

  输出：

  content='1. 花语创意\n2. 花韵设计\n3. 花艺创新\n4. 花漾装饰\n5. 花语装点\n6. 花翩翩\n7. 花语之美\n8. 花馥馥\n9. 花语时尚\n10. 花之魅力' 
  additional_kwargs={} 
  example=False
  

FewShot

Few-Shot（少样本）、One-Shot（单样本）和与之对应的 Zero-Shot（零样本）的概念都起源于机器学习。如何让机器学习模型在极少量甚至没有示例的情况下学习到新的概念或类别，对于许多现实世界的问题是非常有价值的，因为我们往往无法获取到大量的标签化数据。

简单来说，Few-Shot就是给模型提供少量（几个）样本示例，来让模型模仿，One-Shot是特殊的Few-Shot，仅提供一个样本给模型学习。Zero-Shot更像是让模型当天赋型选手，给模型需求，模型就直接能够理解，并给出答案。

在提示工程（Prompt Engineering）中，Few-Shot 和 Zero-Shot 学习的概念也被广泛应用。

• 在Few-Shot学习设置中，模型会被给予几个示例，以帮助模型理解任务，并生成正确的响应。
• 在Zero-Shot学习设置中，模型只根据任务的描述生成响应，不需要任何示例。

使用FewShotPromptTemplate首先需要创建示例样本：

# 1. 创建一些示例
samples = [
  {
    "flower_type": "玫瑰",
    "occasion": "爱情",
    "ad_copy": "玫瑰，浪漫的象征，是你向心爱的人表达爱意的最佳选择。"
  },
  {
    "flower_type": "康乃馨",
    "occasion": "母亲节",
    "ad_copy": "康乃馨代表着母爱的纯洁与伟大，是母亲节赠送给母亲的完美礼物。"
  },
  {
    "flower_type": "百合",
    "occasion": "庆祝",
    "ad_copy": "百合象征着纯洁与高雅，是你庆祝特殊时刻的理想选择。"
  },
  {
    "flower_type": "向日葵",
    "occasion": "鼓励",
    "ad_copy": "向日葵象征着坚韧和乐观，是你鼓励亲朋好友的最好方式。"
  }
]

samples包含四个字典，这些示例样本就是构建FewShotPrompt时，作为例子传递给模型的参考信息。

配置一个提示模板，将示例格式转化为字符串。这个格式应该是一个PromptTemplate对象。

# 2. 创建一个提示模板
from langchain.prompts.prompt import PromptTemplate
template="鲜花类型: {flower_type}\n场合: {occasion}\n文案: {ad_copy}"
prompt_sample = PromptTemplate(input_variables=["flower_type", "occasion", "ad_copy"], 
                               template=template)
print(prompt_sample.format(**samples[0]))

模板输出如下：

鲜花类型: 玫瑰
场合: 爱情
文案: 玫瑰，浪漫的象征，是你向心爱的人表达爱意的最佳选择。

创建FewShotPromptTemplate对象

通过创建的prompt_sample，以及samples中的所有示例，创建一个FewShotTemplate对象，生成更复杂的提示。

# 3. 创建一个FewShotPromptTemplate对象
from langchain.prompts.few_shot import FewShotPromptTemplate
prompt = FewShotPromptTemplate(
    examples=samples,
    example_prompt=prompt_sample,
    suffix="鲜花类型: {flower_type}\n场合: {occasion}",
    input_variables=["flower_type", "occasion"]
)
print(prompt.format(flower_type="野玫瑰", occasion="爱情"))

输出:

鲜花类型: 玫瑰
场合: 爱情
文案: 玫瑰，浪漫的象征，是你向心爱的人表达爱意的最佳选择。
​
鲜花类型: 康乃馨
场合: 母亲节
文案: 康乃馨代表着母爱的纯洁与伟大，是母亲节赠送给母亲的完美礼物。
​
鲜花类型: 百合
场合: 庆祝
文案: 百合象征着纯洁与高雅，是你庆祝特殊时刻的理想选择。
​
鲜花类型: 向日葵
场合: 鼓励
文案: 向日葵象征着坚韧和乐观，是你鼓励亲朋好友的最好方式。
​
鲜花类型: 野玫瑰
场合: 爱情
​

可以看到，FewShotPromptTemplate是一个更复杂的提示模板，包含了多个示例和一个提示。

调用大模型创建新文案：

# 4. 把提示传递给大模型
import os
os.environ["OPENAI_API_KEY"] = '你的Open AI Key'
from langchain.llms import OpenAI
model = OpenAI(model_name='gpt-3.5-turbo-instruct')
result = model(prompt.format(flower_type="野玫瑰", occasion="爱情"))
print(result)

输出：

文案: 野玫瑰代表着爱情的坚贞，是你向心爱的人表达爱意的最佳礼物。

示例选择器

如果示例很多，一次性把所有示例发送给大模型是不现实并且低效的，同时会浪费太多Token。LangChain提供了示例选择器，来选择最合适的样本。

# 5. 使用示例选择器
from langchain.prompts.example_selector import SemanticSimilarityExampleSelector
from langchain.vectorstores import Chroma
from langchain.embeddings import OpenAIEmbeddings
​
# 初始化示例选择器
example_selector = SemanticSimilarityExampleSelector.from_examples(
    samples,
    OpenAIEmbeddings(),
    Chroma,
    k=1
)
​
# 创建一个使用示例选择器的FewShotPromptTemplate对象
prompt = FewShotPromptTemplate(
    example_selector=example_selector, 
    example_prompt=prompt_sample, 
    suffix="鲜花类型: {flower_type}\n场合: {occasion}", 
    input_variables=["flower_type", "occasion"]
)
print(prompt.format(flower_type="红玫瑰", occasion="爱情"))

输出：

鲜花类型: 玫瑰
场合: 爱情
文案: 玫瑰，浪漫的象征，是你向心爱的人表达爱意的最佳选择。
​
鲜花类型: 红玫瑰
场合: 爱情
​

首先创建了一个SemanticSimilarityExampleSelector对象，这个对象可以根据语义相似性选择最相关的示例。然后，它创建了一个新的FewShotPromptTemplate对象，这个对象使用了上一步创建的选择器来选择最相关的示例生成提示。示例选择器example_selector会根据语义的相似度（余弦相似度）找到最相似的示例，也就是“玫瑰”，并用这个示例构建了FewShot模板。这样，就避免了把过多的无关模板传递给大模型，以节省Token的用量。

通常情况下，FewShot的方式能够显著提高模型回答的质量。不过，当少样本提示的效果不佳时，这可能表示模型在任务上的学习不足。在这种情况下，我们建议对模型进行微调或尝试更高级的提示技术。

COT（思维链）

COT首次由谷歌大脑的Jason Wei等人在2022年的论文中提出Chain-of-Thought Prompting Elicits Reasoning in Large Language Models。如果生成一系列的中间推理步骤，就能够显著提高大语言模型进行复杂推理的能力。

• FewShot CoT

  Few-Shot CoT 简单的在提示中提供了一些链式思考示例（Chain-of-Thought Prompting），足够大的语言模型的推理能力就能够被增强。简单说，就是给出一两个示例，然后在示例中写清楚推导的过程。

  

  图左和图右，大模型都读入了OneShot示例，但是图左只给出了答案，而图右则在OneShot示例中给出了解题的具体思路。结果，只给出了答案的模型推理错误，而给出解题思路后，同一个模型生成了正确的答案

• Zero-Shot CoT

  

  在Zero-Shot CoT中，只需要告诉模型”让我们进一步思考“，模型就能给出更好的答案。

  Few-Shot CoT，指的就是在带有示例的提示过程中，加入思考的步骤，从而引导模型给出更好的结果。而Zero-Shot CoT，就是直接告诉模型要一步一步地思考，慢慢地推理。

ToT(思维树)

思维链的思想为模型带来了更好地答案，但对于需要探索或预判战略的复杂任务来说，传统或简单的提示技巧是不够的。基于CoT的思想，研究者们进一步提出了思维树框架。该框架基于思维链提示进行了总结，引导语言模型探索把思维作为中间步骤来解决通用问题。

ToT是一种解决复杂问题的框架，它在需要多步骤推理的任务中，引导语言模型搜索一棵由连贯的语言序列（解决问题的中间步骤）组成的思维树，而不是简单地生成一个答案。ToT框架的核心思想是：让模型生成和评估其思维的能力，并将其与搜索算法（如广度优先搜索和深度优先搜索）结合起来，进行系统性地探索和验证。

ToT 框架为每个任务定义具体的思维步骤和每个步骤的候选项数量。例如，要解决一个数学推理任务，先把它分解为3个思维步骤，并为每个步骤提出多个方案，并保留最优的5个候选方案。然后在多条思维路径中搜寻最优的解决方案。

这种方法的优势在于，模型可以通过观察和评估其自身的思维过程，更好地解决问题，而不仅仅是基于输入生成输出。这对于需要深度推理的复杂任务非常有用。此外，通过引入强化学习、集束搜索等技术，可以进一步提高搜索策略的性能，并让模型在解决新问题或面临未知情况时有更好的表现。

COT+LangChain

针对这个聊天机器人的需求，我设计了下面这样的思维链模板。

作为一个为花店电商公司工作的AI助手，我的目标是帮助客户根据他们的喜好做出明智的决定。

我会按部就班的思考，先理解客户的需求，然后考虑各种鲜花的涵义，最后根据这个需求，给出我的推荐。

同时，我也会向客户解释我这样推荐的原因。

示例 1：

人类：我想找一种象征爱情的花。

AI：首先，我理解你正在寻找一种可以象征爱情的花。在许多文化中，红玫瑰被视为爱情的象征，这是因为它们的红色通常与热情和浓烈的感情联系在一起。因此，考虑到这一点，我会推荐红玫瑰。红玫瑰不仅能够象征爱情，同时也可以传达出强烈的感情，这是你在寻找的。

示例 2：

人类：我想要一些独特和奇特的花。

AI：从你的需求中，我理解你想要的是独一无二和引人注目的花朵。兰花是一种非常独特并且颜色鲜艳的花，它们在世界上的许多地方都被视为奢侈品和美的象征。因此，我建议你考虑兰花。选择兰花可以满足你对独特和奇特的要求，而且，兰花的美丽和它们所代表的力量和奢侈也可能会吸引你。

程序的完整框架如下：

# 设置环境变量和API密钥
import os
os.environ["OPENAI_API_KEY"] = '你的OpenAI API Key'
​
# 创建聊天模型
from langchain.chat_models import ChatOpenAI
llm = ChatOpenAI(temperature=0)
​
# 设定 AI 的角色和目标
role_template = "你是一个为花店电商公司工作的AI助手, 你的目标是帮助客户根据他们的喜好做出明智的决定"
​
# CoT 的关键部分，AI 解释推理过程，并加入一些先前的对话示例（Few-Shot Learning）
cot_template = """
作为一个为花店电商公司工作的AI助手，我的目标是帮助客户根据他们的喜好做出明智的决定。 
​
我会按部就班的思考，先理解客户的需求，然后考虑各种鲜花的涵义，最后根据这个需求，给出我的推荐。
同时，我也会向客户解释我这样推荐的原因。
​
示例 1:
  人类：我想找一种象征爱情的花。
  AI：首先，我理解你正在寻找一种可以象征爱情的花。在许多文化中，红玫瑰被视为爱情的象征，这是因为它们的红色通常与热情和浓烈的感情联系在一起。因此，考虑到这一点，我会推荐红玫瑰。红玫瑰不仅能够象征爱情，同时也可以传达出强烈的感情，这是你在寻找的。
​
示例 2:
  人类：我想要一些独特和奇特的花。
  AI：从你的需求中，我理解你想要的是独一无二和引人注目的花朵。兰花是一种非常独特并且颜色鲜艳的花，它们在世界上的许多地方都被视为奢侈品和美的象征。因此，我建议你考虑兰花。选择兰花可以满足你对独特和奇特的要求，而且，兰花的美丽和它们所代表的力量和奢侈也可能会吸引你。
"""
from langchain.prompts import ChatPromptTemplate, HumanMessagePromptTemplate, SystemMessagePromptTemplate
system_prompt_role = SystemMessagePromptTemplate.from_template(role_template)
system_prompt_cot = SystemMessagePromptTemplate.from_template(cot_template)
​
# 用户的询问
human_template = "{human_input}"
human_prompt = HumanMessagePromptTemplate.from_template(human_template)
​
# 将以上所有信息结合为一个聊天提示
chat_prompt = ChatPromptTemplate.from_messages([system_prompt_role, system_prompt_cot, human_prompt])
​
prompt = chat_prompt.format_prompt(human_input="我想为我的女朋友购买一些花。她喜欢粉色和紫色。你有什么建议吗?").to_messages()
​
# 接收用户的询问，返回回答结果
response = llm(prompt)
print(response)
​